Cara detektor AI Textumi dibangun dan diuji

Satu pengklasifikasi untuk setiap bahasa

Bahasa Ukraina dan delapan belas bahasa yang ditambahkan belakangan memakai satu encoder multibahasa yang sama, yaitu model yang mengubah teks menjadi angka. Encoder ini dibekukan, sehingga bobotnya tidak pernah berubah. Di atasnya terdapat pengklasifikasi kecil yang dilatih khusus untuk satu bahasa.

Teks panjang dibaca dalam jendela-jendela berurutan, dan hasilnya digabung menjadi satu skor untuk seluruh teks. Hingga tiga paragraf berisi 50 kata atau lebih juga dinilai secara terpisah, dan bagian-bagian itulah yang disorot oleh detektor.

Bahasa Inggris memiliki model terpisah yang lebih lama: encoder bahasa Inggris tersendiri yang juga dibekukan, pengklasifikasi yang dilatih Textumi di atasnya, dan model kedua yang sinyalnya digabung dengan sinyal pengklasifikasi itu menurut aturan tetap.

Teks selalu dinilai oleh pengklasifikasi bahasanya sendiri. Bahasa yang belum memiliki pengklasifikasi yang disetujui akan mendapat pesan kesalahan, tidak pernah skor pinjaman dari bahasa lain.

Dari mana teks latihnya berasal

Teks manusia untuk delapan belas bahasa itu berasal dari proyek Wikimedia: berita dari Wikinews, artikel Wikipedia, dan halaman pembicaraan Wikipedia. Bahasa Hindi, Indonesia, Vietnam, Ibrani, dan Denmark tidak memiliki Wikinews, sehingga buku pelajaran dari Wikibooks dipakai sebagai gantinya.

Setiap teks adalah satu paragraf prosa utuh berisi 80 hingga 280 kata dari revisi terakhir halamannya yang dibuat sebelum tahun 2020. Tanggal itulah bukti bahwa teks ditulis manusia. Tidak ada teks yang diberi label manusia hanya karena detektor lain berkata demikian.

Rintisan artikel yang ditulis program dan pemberitahuan yang diulang dari halaman ke halaman disaring. Penyaringan ini mengurangi jumlahnya, tetapi tidak bisa menangkap semuanya sampai tuntas.

Setiap teks manusia memiliki pasangan teks AI dengan topik, genre, dan bahasa yang sama serta panjang yang serupa. Dua model AI yang banyak dipakai dari penyedia berbeda menulis pasangan-pasangan itu, masing-masing untuk separuh sumber. Jawaban yang terpotong, menyalin sumbernya, atau bukan prosa biasa dibuang.

Korpus bahasa Ukraina lebih lama: isinya teks Wikimedia historis dan teks AI dari satu model. Tidak ada teks pelanggan yang dipakai untuk melatih detektor mana pun.

Uji tersegel yang dibuka satu kali per versi

Teks dikelompokkan menurut sumbernya, sehingga bab-bab dari satu buku pelajaran atau arsip satu halaman pembicaraan tetap berada bersama. Kelompok-kelompok ini dibagi satu kali menjadi tiga bagian: pelatihan, kalibrasi, dan uji. Teks manusia dan pasangan AI-nya selalu masuk ke bagian yang sama.

Bagian uji berisi sekitar 200 kelompok sumber. Bagian ini tetap tersegel selama pengklasifikasi dipilih dan ambangnya ditetapkan, lalu dibuka satu kali.

Jika versi tersebut gagal, uji itu tidak dipakai lagi. Teksnya menjadi data latih, dan versi berikutnya diuji pada kelompok sumber baru yang belum pernah dilihat versi sebelumnya. Dengan begitu, kami tidak menyetel pengklasifikasi sampai kebetulan cocok dengan ujiannya sendiri.

Cara ambang dan label hasil ditetapkan

Untuk delapan belas bahasa itu, ambang ditempatkan di titik ketika paling banyak 2 dari 100 teks manusia ditandai. Angka ini dihitung pada teks manusia yang tidak dipelajari pengklasifikasi, yang pada versi-versi pertama berarti bagian kalibrasi.

Versi yang dibuat setelah 12 Oktober 2026 menghitungnya pada semua teks di luar bagian uji, masing-masing dinilai oleh pengklasifikasi yang tidak pernah melihat kelompok sumbernya. Ambang dibekukan sebelum uji dibuka.

Aturan ini sengaja membuat alarm palsu jarang terjadi dan menerima bahwa lebih banyak teks AI akan terlewat. Aturan ini tidak mengubah skor menjadi probabilitas.

Ambang setiap pengklasifikasi ditempatkan di 0,5 pada skala model dari 0 sampai 1. Titik itulah garis sinyal. Di textumi.com, skor ditampilkan tanpa angka: jarum pada pengukur dari “Manusia” ke “AI” dan salah satu dari lima label.

Teks di bawah 50 kata tidak mendapat label: Textumi menampilkan “Teks terlalu sedikit untuk dinilai” sebagai gantinya. Setiap label adalah perkiraan berdasarkan gaya teks, bukan porsi teks AI yang diukur dan bukan bukti kepenulisan. Asisten AI yang terhubung melalui MCP menerima skornya dalam bentuk angka.

Standar yang harus dipenuhi sebuah versi sebelum dirilis

Versi untuk salah satu dari delapan belas bahasa itu hanya ditawarkan jika ujinya berisi sedikitnya 150 teks manusia dan 150 teks AI, dan ketiga syarat berikut terpenuhi pada uji tersebut:

• tidak lebih dari 5% teks manusia yang ditandai, sehingga alarm palsu tetap sedikit;
• sedikitnya 60% teks AI ditemukan di seluruh uji;
• sedikitnya 50% teks AI ditemukan di setiap ranah korpus: berita atau buku pelajaran, artikel ensiklopedia, dan diskusi.

Sebelum disetujui, pengklasifikasi yang diekspor dimuat oleh kode yang sama dengan yang menangani permintaan, dan skornya dibandingkan dengan skor yang dihasilkannya saat pelatihan.

Bahasa yang versinya tidak memenuhi standar tidak ditawarkan. Bahasa Ceko tidak memenuhinya, sehingga Textumi tidak mendukung bahasa Ceko.

Bahasa Belanda adalah satu-satunya pengecualian. Versinya saat ini sedikit di bawah standar: versi itu menemukan 59,8% teks AI padahal syaratnya 60%, dan 49,4% pada artikel ensiklopedia padahal syaratnya 50%. Textumi memutuskan tetap menawarkannya dan tidak mengubah aturannya.

Apa arti versi yang sudah dirilis bagi Anda

Versi yang dirilis telah memenuhi aturan satu kali, pada prosa Wikimedia dan teks dari dua model AI. Itu menggambarkan perilakunya pada jenis materi tersebut. Hal itu tidak menjamin akurasi pada teks lain dan tidak memberikan probabilitas kepenulisan yang terkalibrasi.

Detektor bahasa Inggris dan Ukraina sudah paling lama dipakai. Pengklasifikasi bahasa Ukraina diuji pada 200 teks manusia dan 198 teks AI dari 200 kelompok sumber, sedangkan model bahasa Inggris pada kumpulan uji terpisah yang kecil berisi 80 teks manusia dan 20 teks AI. Skor keduanya juga merupakan sinyal yang tidak terkalibrasi.

Apa yang tidak dicakup oleh uji

• Genre lain. Pada kumpulan kecil teks AI jenis lain, seperti pengumuman, keluhan, dan petunjuk, detektor bahasa Prancis, Vietnam, Turki, dan Indonesia melewatkan sebagian besarnya, sedangkan detektor bahasa Swedia dan Belanda melewatkan sekitar separuhnya. Bahasa Portugis, Arab, Polandia, Jerman, Italia, Norwegia (Bokmål), dan Denmark belum diperiksa pada genre lain.
• Teks pendek. Cuplikan teks latih berisi sedikitnya 80 kata. Di bawah 50 kata, Textumi tidak memberi label, dan hasil untuk teks yang sedikit di atas batas itu tetap kurang andal dalam bahasa apa pun.
• Kepenulisan campuran dan teks yang disunting. Korpus berisi teks yang sepenuhnya manusia dan sepenuhnya AI, sehingga draf AI yang disunting atau teks manusia yang dipoles dengan cermat berada di luar cakupan uji.
• Model AI lain. Teks AI dalam korpus berasal dari dua model, dan teks dari generator lain tidak termasuk dalam uji.
• Bahasa Inggris dalam skala besar. Model bahasa Inggris diperiksa pada kumpulan yang jauh lebih kecil dibandingkan detektor bahasa-bahasa lain.

Mengapa tulisan manusia bisa ditandaiSetiap bahasa dan kondisinya

Bagaimana versi berubah

Setiap pengklasifikasi memiliki nomor versi. Versi baru berarti pembagian korpus yang baru dan uji tersegel yang baru, dan setiap perubahan ambang memerlukan validasi tersendiri serta catatan versi.

Textumi terus meningkatkan kualitas detektor, dan setiap versi baru melewati aturan yang sama. Sebuah versi hanya dinilai pada sumber yang belum pernah dilihatnya, dan setiap rilis adalah keputusan tersendiri. Ketika metodenya berubah, halaman ini dan tanggalnya ikut berubah.