Her dil için bir sınıflandırıcı
Ukraynaca ve sonradan eklenen on sekiz dil, metni sayılara dönüştüren bir model olan ortak bir çok dilli kodlayıcıyı paylaşır. Kodlayıcı dondurulmuştur, yani ağırlıkları hiç değişmez. Onun üzerinde yalnızca tek bir dil için eğitilmiş küçük bir sınıflandırıcı bulunur.
Uzun bir metin art arda gelen pencereler hâlinde okunur ve sonuçlar metnin tamamı için tek bir puanda birleştirilir. 50 kelime ve üzerindeki en fazla üç paragraf ayrıca puanlanır; dedektörün vurguladığı pasajlar da bunlardır.
İngilizcenin daha eski, ayrı bir modeli vardır: kendi dondurulmuş İngilizce kodlayıcısı, Textumi’nin bunun üzerine eğittiği sınıflandırıcılar ve sinyali onlarınkiyle sabit bir kurala göre birleştirilen ikinci bir model.
Bir metin her zaman kendi dilinin sınıflandırıcısıyla puanlanır. Onaylanmış bir sınıflandırıcısı olmayan bir dil hata mesajı alır; başka bir dilden ödünç alınmış bir puan asla verilmez.
Eğitim metinleri nereden geliyor
On sekiz dilin insan metinleri Wikimedia projelerinden gelir: Vikihaber’deki haberler, Vikipedi maddeleri ve Vikipedi tartışma sayfaları. Hintçe, Endonezce, Vietnamca, İbranice ve Dancanın Vikihaber’i olmadığından onun yerini Vikikitap’taki ders kitapları alır.
Her metin, sayfasının 2020’den önce yapılmış son revizyonundan alınmış, 80 ile 280 kelime arasında bütün bir düzyazı paragrafıdır. Tarih, onu bir insanın yazdığının kanıtıdır. Hiçbir metin, başka bir dedektör öyle dediği için insan yazısı olarak etiketlenmez.
Programların yazdığı taslak maddeler ve sayfadan sayfaya tekrarlanan bildirimler ayıklanır. Filtreler bunları azaltır ama her birini yakalayamaz.
Her insan metninin aynı konuda, aynı türde ve dilde, benzer uzunlukta bir yapay zekâ karşılığı vardır. Bu karşılıkları farklı sağlayıcılara ait, yaygın kullanılan iki yapay zekâ modeli yazdı; her biri kaynakların yarısı için. Yarıda kesilen, kaynağını kopyalayan ya da düz düzyazı olmayan cevaplar atıldı.
Ukraynaca derlem daha eskidir: tarihî Wikimedia metinlerini ve tek bir modelin yazdığı yapay zekâ metinlerini içerir. Hiçbir dedektörün eğitiminde müşteri metni kullanılmaz.
Her sürüm için bir kez açılan mühürlü bir test
Metinler kaynağa göre gruplanır; böylece bir ders kitabının bölümleri ya da bir tartışma sayfasının arşivleri bir arada kalır. Gruplar bir kez üç parçaya ayrılır: eğitim, kalibrasyon ve test. Bir insan metni ile onun yapay zekâ karşılığı her zaman aynı parçaya düşer.
Test yaklaşık 200 kaynak grubu içerir. Sınıflandırıcı seçilirken ve eşiği belirlenirken mühürlü kalır, ardından bir kez açılır.
Sürüm başarısız olursa o test bir daha kullanılmaz. Metinleri eğitim verisi olur ve bir sonraki sürüm, önceki hiçbir sürümün görmediği yeni kaynak grupları üzerinde test edilir. Bu, bir sınıflandırıcıyı tesadüfen kendi sınavına uyana kadar ayarlamamızı engeller.
Eşik ve sonuç etiketleri nasıl belirlenir
On sekiz dil için eşik, insan metinlerinin 100’de en fazla 2’sinin işaretlendiği noktaya konur. Bu oran sınıflandırıcının öğrenmediği insan metinleri üzerinde hesaplanır; ilk sürümlerde bu, kalibrasyon parçası demekti.
12 Ekim 2026’dan sonra yapılan sürümler bu oranı test dışındaki her metin üzerinde hesaplar; her metin, kaynak grubunu hiç görmemiş bir sınıflandırıcıyla puanlanır. Eşik, test açılmadan önce dondurulur.
Bu kural yanlış alarmları bilerek seyrek tutar ve daha fazla yapay zekâ metninin gözden kaçmasını kabul eder. Puanı bir olasılığa dönüştürmez.
Her sınıflandırıcının eşiği, modelin 0 ile 1 arasındaki ölçeğinde 0,5’e yerleştirilir. Bu nokta sinyal çizgisidir. textumi.com’da puan sayı olmadan gösterilir: “İnsan”dan “Yapay zekâ”ya uzanan bir göstergede bir ibre ve beş etiketten biri.
| Etiket | Model puanı | Sinyal çizgisi |
|---|---|---|
| İnsan yazımı | 0,25’in altı | Çizginin altında |
| Büyük ölçüde insan | 0,25’ten 0,5 çizgisine kadar | Çizginin altında |
| Karışık: insan ve yapay zekâ | 0,5’ten 0,75’e kadar | Çizginin üstünde |
| Büyük ölçüde yapay zekâ | 0,75’ten 0,9’a kadar | Çizginin üstünde |
| Yapay zekâ üretimi | 0,9 ve üzeri | Çizginin üstünde |
50 kelimeden kısa bir metin etiket almaz: Textumi onun yerine “Değerlendirmek için metin çok az” mesajını gösterir. Her etiket metnin üslubundan yapılan bir tahmindir; yapay zekâ metninin ölçülmüş bir oranı ya da yazarlık kanıtı değildir. MCP üzerinden bağlanan bir yapay zekâ asistanı ise puanın kendisini sayı olarak alır.
Bir sürümün yayından önce geçmesi gereken çıta
On sekiz dilden biri için bir sürüm, yalnızca testinde en az 150 insan ve 150 yapay zekâ metni varsa ve o testte şu üç koşulun hepsi sağlanıyorsa sunulur:
- insan metinlerinin en fazla %5’i işaretlenir, böylece yanlış alarmlar az kalır;
- testin tamamında yapay zekâ metinlerinin en az %60’ı bulunur;
- derlemin her alanında, yani haberler ya da ders kitapları, ansiklopedi maddeleri ve tartışmalarda, yapay zekâ metinlerinin en az %50’si bulunur.
Onaydan önce dışa aktarılan sınıflandırıcı, istekleri işleyen kodun aynısıyla yüklenir ve verdiği puanlar eğitimde ürettikleriyle karşılaştırılır.
Sürümü çıtayı geçemeyen bir dil sunulmaz. Çekçe çıtayı geçemedi, bu yüzden Textumi Çekçeyi desteklemiyor.
Tek istisna Felemenkçedir. Güncel sürümü kıl payı geride kaldı: %60 gerekirken yapay zekâ metinlerinin %59,8’ini, ansiklopedi maddelerinde ise %50 gerekirken %49,4’ünü buldu. Textumi onu yine de sunmaya karar verdi ve kuralın kendisini değiştirmedi.
Yayımlanmış bir sürüm size ne söyler
Yayımlanmış bir sürüm, kuralı bir kez, Wikimedia düzyazısı ve iki yapay zekâ modelinin metinleri üzerinde karşılamıştır. Bu, onun bu tür malzemede nasıl davrandığını anlatır. Başka metinlerde doğruluğu garanti etmez ve kalibre edilmiş bir yazarlık olasılığı vermez.
İngilizce ve Ukraynaca dedektörler en uzun süredir hizmette. Ukraynaca sınıflandırıcı 200 kaynak grubundan 200 insan ve 198 yapay zekâ metni üzerinde, İngilizce model ise 80 insan ve 20 yapay zekâ metninden oluşan küçük, ayrı tutulmuş bir küme üzerinde test edildi. Onların puanları da kalibre edilmemiş sinyallerdir.
Testlerin kapsamadıkları
- Diğer türler. Duyurular, şikâyetler ve talimatlar gibi başka türlerden küçük bir yapay zekâ metni kümesinde Fransızca, Vietnamca, Türkçe ve Endonezce dedektörler bunların çoğunu, İsveççe ve Felemenkçe dedektörler ise yaklaşık yarısını kaçırdı. Portekizce, Arapça, Lehçe, Almanca, İtalyanca, Norveççe (Bokmål) ve Danca başka türlerde kontrol edilmedi.
- Kısa metinler. Eğitim alıntıları en az 80 kelimedir. 50 kelimenin altında Textumi etiket vermez; bu sınırın biraz üzerindeki bir metnin sonucu da her dilde daha az güvenilirdir.
- Karışık ve düzenlenmiş yazarlık. Derlem tamamen insan ve tamamen yapay zekâ metinlerinden oluşur; bu yüzden düzenlenmiş bir yapay zekâ taslağı ya da özenle cilalanmış bir insan metni test edilenin dışında kalır.
- Diğer yapay zekâ modelleri. Derlemdeki yapay zekâ metinleri iki modelden gelir; başka herhangi bir üreticinin metni teste dahil değildi.
- Büyük ölçekte İngilizce. İngilizce model, diğer dillerin dedektörlerine göre çok daha küçük bir küme üzerinde kontrol edildi.
Sürümler nasıl değişir
Her sınıflandırıcının bir sürüm numarası vardır. Yeni bir sürüm, derlemin yeniden bölünmesi ve yeni bir mühürlü test demektir; bir eşikteki her değişiklik de kendi doğrulamasını ve bir sürüm kaydını gerektirir.
Textumi dedektörün kalitesi üzerinde çalışmayı sürdürür ve her yeni sürüm aynı kuraldan geçer. Bir sürüm yalnızca hiç görmediği kaynaklar üzerinde değerlendirilir ve her yayın ayrı bir karardır. Yöntem değiştiğinde bu sayfa ve tarihi de onunla birlikte değişir.
Sık sorulan sorular
Textumi’nin yapay zekâ dedektörü ne kadar doğru?
Tek bir doğruluk oranı yayımlamıyoruz, çünkü dürüst bir oran yok. Sonuçlar dile, türe, metnin uzunluğuna ve onu yazan modele bağlıdır. Yayımladığımız şey, yöntem ve bir sürümün yayından önce karşılaması gereken kuraldır. Her sonuç bir sinyaldir, yazarlık kanıtı değildir.
Sonradan eklenen on sekiz dedektör İngilizce ve Ukraynacadan nasıl farklı?
Her biri sınırlı bir malzeme üzerinde eğitildi ve test edildi: 2020’den önce yazılmış Wikimedia düzyazısı ve iki yapay zekâ modelinin metinleri. Başka türden yazılarda bir dedektör daha kötü sonuç verebilir; birkaç dilde de veriyor. Bu dillerdeki sonuçları, özellikle “İnsan yazımı” ve “Büyük ölçüde insan” etiketlerini daha da dikkatli okuyun: bunlar metni bir insanın yazdığını değil, yapay zekâya benzeyen pek bir şey bulunmadığını gösterir.
Eğitim metinlerini hangi yapay zekâ modelleri yazdı?
On sekiz dil için, farklı sağlayıcılara ait yaygın kullanılan iki yapay zekâ modeli yapay zekâ karşılıklarının yarısını yazdı. Ukraynaca derlemde tek bir modelin metinleri var. Başka modellerin metinleri bu testlere dahil değildi; bu yüzden belirli bir modelin ne kadar iyi tespit edildiği konusunda bir iddiada bulunmuyoruz.
İnsan metinleri neden 2020 öncesine ait?
2020’den önce yapılmış bir sayfa revizyonu bugünün yapay zekâ yazım asistanlarından eskidir; bu yüzden tarihi, onu bir insanın yazdığının kanıtıdır. İnsan metinlerini başka bir dedektör seçseydi, onun hataları bizimkine geçerdi. Programların yazdığı taslak maddeler gibi eski otomatik metinler de mümkün olduğunca ayıklanır.
Metnim dedektörü eğitmek için kullanılıyor mu?
Hayır. Dedektörler herkese açık Wikimedia metinleri ve bu amaçla yazılmış yapay zekâ metinleri üzerinde eğitilir. Textumi metinlerinizi ortak eğitim veri kümelerine otomatik olarak eklemez. İsteklerinizin ne kadar süre saklandığı Gizlilik Politikası’nda açıklanır.
Her test neden yalnızca bir kez açılıyor?
Tekrar tekrar baktığınız bir test, test olmaktan çıkar. Bir sınıflandırıcıyı sonucunu gördükten sonra ayarlayıp aynı testi bir kez daha açsaydık, sonuç sınıflandırıcıyı olduğundan iyi gösterirdi. Bu yüzden başarısız bir sürümün test metinleri eğitim verisi olur ve bir sonraki sürüm yeni kaynaklar üzerinde değerlendirilir.
Site neden sayı yerine bir etiket gösteriyor?
Puan kalibre edilmemiş bir model sinyalidir; yapay zekâ metninin yüzdesi ya da bir olasılık değildir, ama 62 gibi bir sayı kolayca öyle okunur. Sinyal çizgisinin çevresindeki beş etiket, puanın taşıyabileceği kadarını söyler: ikisi çizginin altında, üçü üstünde. Her biri üsluptan yapılan bir tahmindir; “Karışık” ve “Büyük ölçüde” yapay zekâ metninin ölçülmüş bir oranı değildir.