Dua jenis kesalahan
Detektor bisa keliru ke dua arah. Detektor bisa menandai teks yang ditulis manusia, yang disebut positif palsu, atau meloloskan teks AI, yang disebut teks terlewat.
Kedua kesalahan itu saling tarik-menarik. Setiap detektor membandingkan skor dengan ambang batas: jika ambang batas diturunkan, lebih banyak teks AI yang tertangkap tetapi lebih banyak manusia yang ditandai; jika dinaikkan, lebih sedikit manusia yang ditandai tetapi lebih banyak teks AI yang terlewat. Tidak ada pengaturan yang menghilangkan keduanya.
Jadi, pertanyaan pertama tentang detektor mana pun bukanlah seberapa akurat detektor itu, melainkan kesalahan mana yang berusaha dihindarinya. Untuk keputusan yang menyangkut manusia, positif palsu biasanya lebih merugikan.
Perusahaan besar pun pernah mengalaminya. Pada 2023, OpenAI menarik pengklasifikasi teks AI miliknya sendiri dengan alasan akurasinya rendah.
Mengapa klaim akurasi 99% menyesatkan
Satu angka akurasi menyembunyikan lebih banyak daripada yang ditunjukkannya. Angka itu mencampur dua jenis kesalahan menjadi satu, dan hanya menggambarkan satu kumpulan data uji yang dipilih oleh pihak yang menjalankan pengujian.
Kumpulan data uji itulah yang paling menentukan. Detektor yang diukur dengan jawaban chatbot mentah dan belum disunting dalam bahasa Inggris akan tampak jauh lebih baik daripada detektor yang sama pada teks pendek, sudah disunting, atau diterjemahkan dalam bahasa lain.
Tingkat kesalahan yang kecil pun bisa menumpuk. Misalkan sebuah detektor keliru menandai 1 dari 100 teks manusia. Dalam satu mata kuliah dengan 300 esai yang ditulis jujur, berarti sekitar tiga mahasiswa ditandai atas karya yang mereka tulis sendiri.
Saat membaca klaim akurasi, cari tahu apa yang ada di baliknya: bahasa dan genre apa yang diuji, seberapa panjang teksnya, apakah teks itu disunting, siapa yang memilih teks manusianya, dan berapa banyak teks manusia yang ditandai. Klaim tanpa rincian itu hanya memberi tahu sangat sedikit.
Di mana detektor kesulitan
Detektor justru paling buruk kinerjanya pada teks yang paling sering perlu dicek:
- Teks pendek. Beberapa kalimat memuat terlalu sedikit bukti, itulah sebabnya Textumi menampilkan “Teks terlalu sedikit untuk dinilai” untuk teks apa pun di bawah 50 kata.
- Teks yang sudah disunting, diparafrasekan, atau diterjemahkan. Setiap perubahan menjauhkan susunan kata dari apa yang dipelajari detektor, ke dua arah.
- Tulisan formal dan berpola tetap, seperti abstrak, surat lamaran, dan surat resmi, yang mengikuti templat sehingga bisa dibaca detektor sebagai tulisan mesin.
- Tulisan dalam bahasa kedua. Peneliti Stanford melaporkan pada 2023 bahwa detektor lebih sering menandai esai karya penulis yang bukan penutur asli bahasa Inggris.
- Bahasa dan genre yang hanya sedikit dilihat detektor selama pelatihan.
Poin terakhir juga berlaku untuk Textumi. Detektor kami untuk bahasa selain Inggris dan Ukraina dilatih dan diuji pada prosa Wikimedia. Pada sampel kecil teks AI jenis lain, seperti pengumuman, keluhan, dan petunjuk penggunaan, detektor bahasa Prancis, Vietnam, Turki, dan Indonesia gagal mengenali sebagian besarnya, sedangkan detektor bahasa Swedia dan Belanda melewatkan sekitar separuhnya.
Cara menguji detektor sendiri
Pengujian yang paling adil adalah pengujian yang Anda jalankan pada teks yang mirip dengan teks Anda sendiri. Waktunya hanya satu jam dan hasilnya lebih banyak memberi tahu daripada angka yang dipublikasikan mana pun.
- Kumpulkan sepuluh teks atau lebih yang Anda tahu pasti ditulis manusia, dalam bahasa dan genre Anda, idealnya ditulis sebelum asisten AI banyak dipakai.
- Tulis atau buat teks AI dalam jumlah yang sama dengan topik dan panjang yang mirip, lalu sunting beberapa di antaranya seperti yang biasa dilakukan orang.
- Cek setiap teks dengan setiap detektor yang Anda bandingkan dan catat hasilnya, tanpa mengubah apa pun di antara pengecekan.
- Hitung secara terpisah berapa banyak teks manusia yang ditandai dan berapa banyak teks AI yang terlewat, lalu lihat bagian mana yang ditandai setiap detektor.
Jika sebuah detektor menandai beberapa teks yang Anda tahu ditulis manusia, sikapi hasilnya untuk jenis tulisan itu dengan sangat hati-hati, apa pun klaim pemasarannya.
Cara Textumi menguji detektornya sendiri
Kami tidak memublikasikan satu angka akurasi untuk Textumi, karena tidak ada angka jujur yang berlaku untuk setiap bahasa dan setiap jenis teks. Sebagai gantinya, kami memublikasikan aturan yang harus dipenuhi setiap versi detektor.
Untuk bahasa selain Inggris dan Ukraina, ambang batas ditetapkan pada titik di mana paling banyak 2 dari 100 teks manusia yang tidak dipakai untuk melatih pengklasifikasi ikut ditandai. Dengan begitu, alarm palsu tetap jarang, dengan konsekuensi lebih banyak teks AI yang terlewat.
Setiap versi diuji satu kali pada kumpulan teks tersegel yang belum pernah dilihatnya, dengan syarat untuk kedua jenis kesalahan. Setiap pengujian yang gagal dibuang. Halaman metodologi menjelaskan aturan itu secara rinci, satu bahasa yang tetap ditawarkan Textumi atas keputusannya sendiri meskipun pengujiannya sedikit meleset dari syarat, serta hal-hal yang tidak dicakup oleh pengujian.
Apa pun aturannya, sebuah hasil adalah perkiraan berdasarkan gaya teks. Hasil itu bukan probabilitas dan bukan bukti siapa penulisnya.
Pertanyaan umum
Apakah detektor AI akurat?
Detektor AI bisa berguna, tetapi tidak ada yang akurat secara andal untuk setiap teks. Semua detektor menandai sebagian tulisan manusia dan melewatkan sebagian tulisan AI, dengan tingkat yang berbeda-beda, bergantung pada bahasa, genre, panjang, dan penyuntingan teks. Hasil apa pun harus dianggap sebagai sinyal yang memerlukan konteks, bukan bukti kepenulisan.
Bisakah detektor AI akurat hingga 99%?
Detektor bisa mendapat skor sangat tinggi pada satu kumpulan teks, tetapi skor itu hanya menyatakan sesuatu tentang teks-teks tersebut, yang sering kali panjang dan belum disunting, dan mencampur dua jenis kesalahan menjadi satu angka. Detektor yang sama bisa jauh lebih buruk pada teks yang pendek, sudah disunting, diterjemahkan, atau formal. Jadi, pastikan Anda tahu skor itu diukur pada teks apa.
Detektor AI mana yang paling akurat?
Tidak ada satu jawaban yang jujur. Setiap perusahaan menguji dengan teksnya sendiri, dan angkanya tidak bisa dibandingkan. Detektor terbaik bagi Anda adalah yang paling sedikit menandai teks Anda sendiri yang Anda tahu ditulis manusia, sambil tetap menandai teks buatan AI dari jenis yang sama, jadi cobalah beberapa detektor pada teks Anda sendiri.
Berapa akurasi Textumi?
Kami tidak memublikasikan satu angka karena angka itu tidak akan benar untuk setiap bahasa dan genre. Sebagai gantinya, kami memublikasikan metodenya: untuk bahasa selain Inggris dan Ukraina, ambang batas mengizinkan paling banyak 2 dari 100 teks manusia ditandai di antara teks yang tidak dipakai untuk melatih model, dan setiap versi harus memenuhi syarat pada pengujian tersegel. Rinciannya ada di halaman metodologi.
Mengapa dua detektor memberi hasil berbeda untuk teks yang sama?
Keduanya dilatih dengan contoh yang berbeda dan menarik ambang batas di tempat yang berbeda. Teks yang dekat dengan garis batas bisa jatuh ke sisi mana pun, dan satu detektor mungkin bereaksi terhadap susunan kata yang diabaikan detektor lain. Karena itulah satu hasil, dari detektor mana pun, menyatakan lebih sedikit daripada yang sering diasumsikan orang.
Haruskah hasil detektor menentukan nilai atau keputusan perekrutan?
Tidak. Hasil detektor adalah sinyal statistik tentang susunan kata dan tidak boleh menjadi satu-satunya dasar keputusan tentang seseorang. Draf, riwayat versi, sumber, dan percakapan tentang karya itu jauh lebih baik dalam menunjukkan kepenulisan, dan melindungi orang yang tulisan jujurnya kebetulan tampak mudah ditebak.