Apa itu positif palsu
Positif palsu adalah teks yang ditulis manusia, tetapi ditandai detektor sebagai buatan AI.
Detektor tidak tahu siapa yang menulis teks. Detektor memberi skor pada susunan kata, membandingkan skor itu dengan ambang batas, dan melaporkan semua yang berada di atas ambang sebagai sinyal AI. Sebagian tulisan manusia pasti akan berada di atas ambang itu.
Tidak ada pengaturan yang bisa memperbaikinya. Ambang yang lebih tinggi menandai lebih sedikit teks manusia tetapi melewatkan lebih banyak teks AI, dan ambang yang lebih rendah berlaku sebaliknya.
Perusahaan besar pun menghadapi tembok yang sama. Pada tahun 2023, OpenAI menarik pengklasifikasi teks AI miliknya sendiri dengan alasan akurasinya rendah.
Tulisan siapa yang lebih sering ditandai
Positif palsu tidak menimpa semua jenis teks secara merata. Detektor paling sering keliru pada jenis-jenis berikut:
- Tulisan dalam bahasa kedua. Para peneliti Stanford melaporkan pada tahun 2023 bahwa detektor AI lebih sering menandai esai karya penulis yang bukan penutur asli bahasa Inggris dibandingkan esai karya penutur asli.
- Teks formal dan berpola baku. Surat lamaran kerja, abstrak, email bisnis, dan dokumen resmi mengikuti pola tetap, dan susunan kata yang mudah ditebak justru menjadi pemicu reaksi detektor.
- Teks pendek. Beberapa kalimat terlalu sedikit untuk dinilai, karena itulah Textumi tidak memberi label di bawah 50 kata, dan hasil untuk teks yang sedikit di atas batas itu tetap kurang andal.
- Teks yang dipoles berlebihan. Alat tata bahasa, terjemahan, dan suntingan berkali-kali menghaluskan ketidakteraturan kecil yang wajar ada dalam draf asli.
Anda tidak perlu menulis lebih buruk agar terlihat seperti manusia. Namun siapa pun yang membaca hasil detektor perlu tahu bahwa tanda pada jenis teks seperti ini bobotnya lebih kecil.
Apa yang tidak dibuktikan oleh hasil detektor
Detektor hanya melihat teks yang sudah jadi. Detektor tidak melihat catatan Anda, sumber Anda, jam-jam yang Anda curahkan, atau versi file sebelumnya. Detektor tidak bisa membedakan penulis yang cermat dari model yang meniru tulisan yang cermat.
Hasil detektor bukan probabilitas. Textumi menyebutnya dengan salah satu dari lima label, dari “Ditulis manusia” hingga “Buatan AI”. Bahkan “Buatan AI” tidak berarti teks itu hampir pasti ditulis AI, dan “Dominan AI” tidak berarti model menulis sebagian besar kalimatnya. Label hanya menyatakan bahwa susunan kata sangat mirip dengan apa yang dipelajari detektor sebagai ciri AI.
Jika detektor lain menampilkan persentase, bacalah dengan kehati-hatian yang sama. Angka itu juga skor model, bukan porsi teks yang dibuat AI.
Dua detektor bisa menilai teks yang sama secara berbeda. Keduanya dilatih dengan contoh yang berbeda, dan masing-masing menarik ambangnya di tempat yang berbeda.
Apa yang harus dilakukan jika Anda dituduh memakai AI
Hasil detektor saja merupakan bukti yang lemah. Catatan tentang bagaimana teks dibuat jauh lebih kuat. Ikuti langkah-langkah berikut secara berurutan.
- Tanyakan detektor apa yang dipakai, apa tepatnya yang ditunjukkan, dan hasil seperti apa yang dianggap sebagai dasar kecurigaan oleh pihak yang menilai pekerjaan Anda.
- Kumpulkan draf, kerangka, catatan, dan sumber Anda, termasuk versi kasar yang biasanya tidak Anda tunjukkan kepada siapa pun.
- Buka riwayat versi dokumen. Google Docs dan Microsoft Word sama-sama bisa mencatat bagaimana teks berubah dari waktu ke waktu, dan jejak suntingan kecil selama beberapa hari sulit dibantah.
- Tawarkan untuk membahas pekerjaan itu secara langsung. Menjelaskan argumen, sumber, dan pilihan Anda menunjukkan kepenulisan dengan cara yang tidak bisa dilakukan detektor mana pun.
- Mintalah kebijakan tertulis tentang penggunaan AI dan hasil detektor, dan minta agar keputusan tidak hanya bertumpu pada hasil detektor.
Untuk pekerjaan berikutnya, menulislah di editor yang menyimpan riwayat versi dan simpan catatan Anda. Hal itu tidak memakan biaya apa pun saat Anda bekerja, sedangkan buktinya sulit disusun kembali setelahnya.
Cara Textumi menetapkan ambangnya
Detektor Textumi adalah pengembangan kami sendiri: kami melatih dan menyetel modelnya sendiri, menjalankannya di server kami sendiri, dan terus menyempurnakannya. Ambangnya, yaitu garis yang di atasnya detektor melaporkan sinyal AI, sengaja ditempatkan agar sesedikit mungkin teks manusia yang ditandai, meskipun akibatnya sebagian teks AI lolos tanpa terdeteksi.
Untuk setiap bahasa selain Inggris dan Ukraina, ambang ditempatkan di titik ketika tidak lebih dari dua dari seratus teks manusia ditandai. Kami menghitungnya pada teks manusia yang tidak dipelajari oleh model.
Ambang bahasa Ukraina ditetapkan dengan versi sebelumnya dari aturan yang sama. Detektor bahasa Inggris adalah model lama dengan ambang tetapnya sendiri.
Ini adalah pilihan tentang kesalahan mana yang ingin dihindari, bukan janji akurasi pada teks Anda. Hitungan itu berasal dari satu jenis tulisan, yaitu prosa dari proyek Wikimedia, sehingga pada surat lamaran kerja atau email singkat, porsi teks manusia yang ditandai bisa lebih tinggi.
Ada pengaman kedua. Versi detektor baru untuk bahasa mana pun di antara bahasa-bahasa ini tidak dirilis jika menandai lebih dari lima dari seratus teks manusia pada teks uji yang belum pernah dilihatnya.
Di bawah ambang, hasilnya adalah “Ditulis manusia” atau “Dominan manusia”. Label-label ini juga perkiraan berdasarkan gaya: Textumi tidak bisa menunjukkan bahwa sebuah teks pasti ditulis manusia, karena model tidak melihat bagaimana teks itu dibuat.
Membaca hasil yang ditandai di Textumi
Mulailah dari bagian yang disorot, bukan dari label di bawah jarum. Jika sinyalnya berasal dari satu paragraf formal dalam esai pribadi, sinyal itu memberi tahu tentang paragraf tersebut, bukan tentang Anda.
Untuk teks di bawah 50 kata, Textumi tidak menampilkan label, hanya “Teks terlalu sedikit untuk dinilai”, karena penilaian atas teks sependek itu tidak bisa diandalkan. Periksa bagian yang lebih panjang dari dokumen yang sama: mulai dari 50 kata, perkiraannya lebih andal.
Jika bagian yang ditandai memang terbaca kaku, revisilah sendiri atau minta Humanizer membuat versi yang lebih alami dengan makna yang tetap. Itu mengubah susunan kata, bukan riwayat teksnya, dan detektor lain masih bisa menandainya.
Pertanyaan umum
Bisakah detektor AI salah?
Bisa. Setiap detektor AI kadang menandai tulisan manusia dan melewatkan tulisan AI, karena detektor hanya menilai susunan kata dan tidak bisa melihat bagaimana teks dibuat. Textumi menyatakannya di samping hasil pemeriksaan: labelnya adalah perkiraan berdasarkan gaya teks, bukan vonis tentang siapa penulisnya.
Mengapa tulisan saya sendiri ditandai sebagai AI?
Paling sering karena teksnya pendek, formal, ditulis dalam bahasa kedua, atau disunting berkali-kali. Teks seperti itu memakai susunan kata yang mudah ditebak, dan susunan kata yang mudah ditebak itulah yang dikaitkan detektor dengan AI. Tanda tersebut menggambarkan kata-kata di halaman dan tidak menyatakan apa pun secara pasti tentang cara Anda bekerja.
Bisakah hasil detektor membuktikan bahwa saya memakai AI?
Tidak. Hasil detektor adalah sinyal statistik, bukan bukti tentang apa yang Anda lakukan. Hasil itu tidak boleh menjadi satu-satunya dasar keputusan tentang nilai, pekerjaan, atau publikasi. Draf, riwayat versi, dan percakapan tentang pekerjaan itu jauh lebih banyak menunjukkan siapa penulisnya.
Apakah pemeriksa tata bahasa dan alat terjemahan menyebabkan positif palsu?
Bisa. Koreksi besar-besaran dan terjemahan mengganti susunan kata yang personal dan tidak beraturan dengan kalimat yang lebih halus dan standar, dan teks terjemahan atau yang banyak disunting termasuk yang paling sering salah dinilai detektor. Jika Anda memakai alat seperti itu, katakan secara terbuka dan simpan versi yang Anda tulis sebelum memakainya.
Bagaimana saya bisa menunjukkan bahwa saya menulis teks sendiri?
Tunjukkan cara Anda bekerja. Riwayat versi di Google Docs atau Microsoft Word, draf awal, kerangka, dan catatan semuanya merekam bagaimana teks berkembang. Lalu tawarkan untuk membahas argumen dan sumber Anda. Hasil dari detektor lain hanya menambah sedikit, karena detektor sering tidak sepakat satu sama lain.
Berapa tingkat positif palsu Textumi?
Kami tidak memublikasikan satu angka, karena tingkatnya tergantung bahasa, genre, dan panjang teks. Yang bisa kami nyatakan adalah aturannya: untuk setiap bahasa selain Inggris dan Ukraina, ambang ditempatkan di titik ketika tidak lebih dari dua dari seratus teks manusia yang tidak dipelajari model ditandai. Pada jenis tulisan Anda, porsinya bisa berbeda.
Haruskah guru mengandalkan hasil detektor AI?
Tidak jika hanya hasil itu yang dipakai. Hasil detektor bisa membuka percakapan dan menunjuk bagian yang layak dibahas, tetapi tidak bisa memastikan bahwa siswa memakai AI. Siswa yang menulis dalam bahasa kedua atau dengan gaya formal lebih sering ditandai, sehingga keputusan yang hanya berdasarkan hasil itu tidak adil bagi mereka.