Cara kerja detektor AI, dan kapan hasilnya keliru

Apa yang diukur detektor AI

Detektor memperkirakan seberapa mirip susunan kata sebuah teks dengan teks tulisan AI yang dipakai untuk melatihnya.

Model bahasa cenderung memilih kata yang paling mungkin muncul dan menyusun kalimat yang rapi dan seragam. Manusia lebih sulit ditebak: mereka mengulang diri, mengubah tempo, dan memilih kata yang tidak akan diduga model mana pun. Detektor mempelajari perbedaan statistik ini dari banyak sekali contoh.

Ada dua rancangan yang umum. Yang pertama meminta model bahasa lain menilai seberapa mudah ditebak setiap kata dalam teks, lalu menganggap teks yang sangat mudah ditebak sebagai mencurigakan. Ukuran itu disebut perplexity.

Yang kedua adalah pengklasifikasi terlatih. Sebuah encoder mengubah teks menjadi sekumpulan angka, dan pengklasifikasi yang dilatih dengan contoh tulisan manusia dan AI memberi skor pada angka-angka itu. Textumi bekerja dengan cara ini, memakai model detektor yang kami latih, setel, dan jalankan di server kami sendiri. Kedua rancangan hanya mengandalkan teksnya saja.

Watermark adalah gagasan yang berbeda: model meninggalkan tanda statistik dalam teks saat menulis, dan siapa pun yang memegang kuncinya bisa memeriksanya. Cara ini hanya berlaku untuk model yang menambahkan tanda tersebut, sehingga detektor yang dimaksudkan untuk membaca teks apa pun tidak bisa mengandalkannya.

Detektor tidak memeriksa fakta, tidak menilai argumen, dan tidak mencari teks Anda dalam arsip jawaban chatbot. Dua teks dengan makna sama tetapi susunan kata berbeda bisa mendapat hasil yang sangat berbeda.

Mengapa hasilnya adalah sinyal, bukan vonis

Tulisan manusia dan tulisan AI saling tumpang tindih. Sebagian orang menulis dengan rapi dan mudah ditebak, dan model bisa diminta menulis secara tidak seragam.

Di mana pun ambang batas ditarik melintasi wilayah tumpang tindih itu, sebagian tulisan manusia akan jatuh ke sisi AI dan sebagian tulisan AI ke sisi manusia. Menggeser ambang batas hanya menukar satu jenis kesalahan dengan jenis lainnya.

Hasilnya sendiri mudah disalahartikan. Textumi memberi salah satu dari lima label: “Ditulis manusia”, “Dominan manusia”, “Campuran: manusia dan AI”, “Dominan AI”, dan “Buatan AI”. Dua yang pertama berada di bawah ambang batas, tiga lainnya di atasnya. Label menggambarkan kesan gaya seluruh teks, bukan probabilitas teks ditulis AI atau porsi teks yang dihasilkan mesin.

Jika detektor lain menampilkan persentase, angka itu juga merupakan perkiraan model dan perlu disikapi dengan kehati-hatian yang sama.

Batasan ini sudah terdokumentasi dengan baik. Pada 2023, OpenAI menarik pengklasifikasi teks AI miliknya sendiri dengan alasan akurasinya rendah, dan pada tahun yang sama peneliti Stanford melaporkan bahwa detektor lebih sering menandai esai karya penulis yang bukan penutur asli bahasa Inggris dibandingkan esai karya penutur asli.

Pengaruh parafrase dan penyuntingan terhadap hasil

Detektor menilai teks yang diterimanya. Ketika susunan kata berubah, hasilnya pun ikut berubah.

Ketika seseorang menulis ulang teks buatan AI kalimat demi kalimat, pola yang dikenali detektor makin sedikit tersisa. Ketika asisten AI memoles teks seseorang, pola itu justru makin banyak muncul.

Hasilnya adalah teks campuran. Detektor yang dilatih dengan contoh tulisan manusia murni dan tulisan AI murni bisa menempatkannya di sisi mana pun.

Hal yang sama berlaku untuk alat parafrase, termasuk Humanizer kami sendiri. Humanizer mengejar susunan kata yang alami dengan fakta dan logika teks asli tetap terjaga, bukan skor tertentu. Hasil tulis ulang adalah susunan kata yang baru, dan hasil detektor berbicara tentang susunan kata itu, bukan tentang asal-usul teks, sehingga teks yang dibiarkan oleh satu detektor tetap bisa ditandai oleh detektor lain.

Koreksi tata bahasa yang berat dan penerjemahan juga menggeser hasil, kadang ke arah sisi AI.

Mengapa model baru adalah sasaran yang terus bergerak

Detektor mengenal model yang teksnya ada dalam data latihnya, sebagaimana model-model itu menulis pada saat itu. Teks dari model yang lebih baru atau berbeda mungkin mirip, mungkin juga tidak, dan hanya pengujian yang bisa memastikannya.

Detektor Textumi untuk bahasa selain Inggris dan Ukraina dilatih dengan teks dari dua model AI yang banyak dipakai. Teks dari model lain berada di luar pengujian tersebut, dan itulah salah satu alasan kami terus menyempurnakan detektor dan merilisnya dalam bentuk versi.

Mengapa bahasa selain Inggris lebih sulit

Model yang dilatih dengan teks bahasa Inggris tidak serta-merta bekerja sama baiknya dalam bahasa lain. Setiap bahasa memerlukan teks manusianya sendiri, teks AI-nya sendiri, dan pengujiannya sendiri.

Bagian tersulit adalah mengumpulkan teks yang pasti ditulis oleh manusia. Bahasa dengan penutur lebih sedikit memiliki teks seperti itu dalam jumlah lebih kecil, sehingga kumpulan data latih sering hanya mencakup beberapa genre.

Textumi melatih pengklasifikasi terpisah untuk setiap bahasa. Detektor bahasa Inggris dan Ukraina adalah yang paling menyeluruh diuji. Detektor untuk bahasa lainnya dilatih dan diuji pada prosa dari proyek-proyek Wikimedia dan pada teks dari dua model AI.

Pada genre lain, sebagian detektor ini melewatkan banyak teks AI, termasuk detektor bahasa Prancis, Vietnam, Turki, Indonesia, dan Belanda. Teks terjemahan menjadi sumber kesalahan tambahan dalam bahasa apa pun.

Bahasa dan kondisi masing-masingCara detektor AI Textumi dibangun dan diuji

Cara membaca hasil secara bertanggung jawab

• Baca bagian yang disorot sebelum melihat label, karena bagian itu menunjukkan asal sinyal dan memungkinkan Anda menilai sendiri baris-baris tersebut.
• Perhatikan panjang teks. Di bawah 50 kata, Textumi menampilkan “Teks terlalu sedikit untuk dinilai”, bukan label, dan teks pendek perlu disikapi hati-hati di detektor mana pun.
• Perhatikan genre dan bahasanya. Tanda pada surat resmi, atau hasil dalam bahasa yang diuji pada kumpulan teks lebih sempit, punya bobot lebih kecil daripada hasil yang sama pada esai panjang berbahasa Inggris.
• Anggap “Ditulis manusia” dan “Dominan manusia” sebagai perkiraan. Artinya detektor hanya menemukan sedikit hal yang mirip AI, bukan bahwa teks itu pasti ditulis manusia.
• Kumpulkan bukti lain sebelum memutuskan apa pun: draf, riwayat versi, dan percakapan dengan penulisnya lebih banyak berbicara tentang kepenulisan daripada detektor mana pun.

Mengapa tulisan manusia bisa ditandaiPenggunaan yang bertanggung jawab