Yanlış pozitif nedir
Yanlış pozitif, bir insanın yazdığı ama bir dedektörün yapay zekâ üretimi olarak işaretlediği metindir.
Dedektör metni kimin yazdığını bilmez. İfadeleri puanlar, bu puanı bir eşikle karşılaştırır ve eşiğin üstündeki her şeyi yapay zekâ sinyali olarak bildirir. Bazı insan yazıları kaçınılmaz olarak eşiğin üstüne düşer.
Bunu düzelten bir ayar yoktur. Daha yüksek bir eşik daha az insan metnini işaretler ama daha fazla yapay zekâ metnini kaçırır; daha düşük bir eşik ise tam tersini yapar.
Büyük şirketler de aynı duvara çarpıyor. OpenAI 2023’te kendi yapay zekâ metin sınıflandırıcısını, doğruluğunun düşük olduğunu belirterek kullanımdan kaldırdı.
Kimin yazısı daha sık işaretlenir
Yanlış pozitifler her metin türünü eşit etkilemez. Dedektörler en sık şunlarda yanılır:
- İkinci bir dilde yazılmış metinler. Stanford araştırmacıları 2023’te yapay zekâ dedektörlerinin, anadili İngilizce olmayanların yazdığı denemeleri anadili İngilizce olanlarınkinden daha sık işaretlediğini bildirdi.
- Resmî ve kalıplaşmış metinler. Ön yazılar, özetler, iş e-postaları ve resmî belgeler belirli kalıpları izler; tahmin edilebilir ifadeler de tam olarak bir dedektörün tepki verdiği şeydir.
- Kısa metinler. Birkaç cümle bir yargıya varmak için çok az şey sunar; Textumi’nin 50 kelimenin altında etiket göstermemesinin nedeni budur ve bu sınırın biraz üzerindeki bir metnin sonucu da hâlâ daha az güvenilirdir.
- Yoğun biçimde cilalanmış metinler. Dil bilgisi araçları, çeviri ve defalarca yapılan düzeltmeler gerçek bir taslağın küçük düzensizliklerini düzleştirir.
İnsan gibi görünmek için daha kötü yazmanız gerekmez. Ama bir dedektör sonucunu okuyan herkes, bu tür metinlerdeki bir işaretin daha az ağırlık taşıdığını bilmelidir.
Bir dedektör sonucu neyi kanıtlamaz
Bir dedektör yalnızca bitmiş metni görür. Notlarınızı, kaynaklarınızı, harcadığınız saatleri ya da dosyanın önceki sürümlerini görmez. Dikkatli bir yazarı, dikkatli yazıyı taklit eden bir modelden ayırt edemez.
Bir dedektör sonucu bir olasılık değildir. Textumi onu “İnsan yazımı”ndan “Yapay zekâ üretimi”ne kadar beş etiketten biriyle adlandırır. “Yapay zekâ üretimi” bile metnin neredeyse kesinlikle yapay zekâ tarafından yazıldığı anlamına gelmez; “Büyük ölçüde yapay zekâ” da cümlelerin çoğunu bir modelin yazdığı anlamına gelmez. Bir etiket yalnızca ifadelerin, dedektörün yapay zekâyla ilişkilendirmeyi öğrendiği şeye çok benzediğini söyler.
Başka bir dedektör bir yüzde gösteriyorsa onu da aynı dikkatle okuyun. O da bir modelin puanıdır, metnin üretilmiş kısmının oranı değildir.
İki dedektör aynı metni farklı değerlendirebilir. Farklı örneklerle eğitildiler ve her biri eşiğini farklı bir yere çeker.
Yapay zekâ kullanmakla suçlanırsanız ne yapmalı
Tek başına bir dedektör sonucu zayıf bir kanıttır. Metnin nasıl ortaya çıktığının kaydı çok daha güçlüdür. Şu adımları sırayla izleyin.
- Hangi dedektörün kullanıldığını, tam olarak ne gösterdiğini ve çalışmanızı değerlendirenlerin hangi sonucu şüphe gerekçesi saydığını sorun.
- Normalde kimseye göstermeyeceğiniz kaba sürümler dahil taslaklarınızı, planlarınızı, notlarınızı ve kaynaklarınızı toplayın.
- Belgenin sürüm geçmişini açın. Google Docs da Microsoft Word da bir metnin zaman içinde nasıl değiştiğini kaydedebilir; birkaç güne yayılmış küçük düzenlemelerden oluşan bir iz kolay kolay itiraz götürmez.
- Çalışmanızı birlikte konuşmayı önerin. Argümanınızı, kaynaklarınızı ve tercihlerinizi anlatmak, yazarlığı hiçbir dedektörün gösteremeyeceği bir şekilde ortaya koyar.
- Yapay zekâ kullanımı ve dedektör sonuçlarıyla ilgili yazılı politikayı isteyin ve kararın yalnızca bir dedektör sonucuna dayanmamasını talep edin.
Gelecekteki çalışmalarınız için sürüm geçmişi tutan bir düzenleyicide yazın ve notlarınızı saklayın. Çalışırken bunun hiçbir maliyeti yoktur, sonradan ise bu kanıtı yeniden oluşturmak zordur.
Textumi eşiğini nasıl belirler
Textumi’nin dedektörü kendi geliştirmemizdir: modellerini kendimiz eğitip ayarlıyor, kendi sunucularımızda çalıştırıyor ve geliştirmeye devam ediyoruz. Eşiği, yani üstünde yapay zekâ sinyali bildirdiği çizgi, bir miktar yapay zekâ metni gözden kaçsa bile olabildiğince az insan metni işaretlenecek şekilde bilerek konumlandırıldı.
İngilizce ve Ukraynaca dışındaki her dil için eşik, yüz insan metninden en fazla ikisinin işaretlendiği yerdedir. Bunu modelin öğrenmediği insan metinleri üzerinde sayıyoruz.
Ukraynaca eşik aynı kuralın daha önceki bir sürümüyle belirlendi. İngilizce dedektör ise kendine ait sabit bir eşiği olan daha eski bir modeldir.
Bu, hangi hatadan kaçınılacağına dair bir tercihtir; sizin metninizde doğruluk vaadi değildir. Sayımlar tek bir yazı türünden, Wikimedia projelerindeki düzyazıdan geliyor; bu yüzden bir ön yazıda ya da kısa bir e-postada işaretlenen insan metinlerinin oranı daha yüksek olabilir.
İkinci bir güvence daha var. Bu dillerden herhangi biri için yeni bir dedektör sürümü, hiç görmediği test metinlerinde yüz insan metninden beşten fazlasını işaretliyorsa yayımlanmaz.
Eşiğin altında sonuç “İnsan yazımı” ya da “Büyük ölçüde insan” olur. Bu etiketler de üsluptan yapılan tahminlerdir: bir model metnin nasıl yazıldığını görmediği için Textumi bir metni kesinlikle bir insanın yazdığını gösteremez.
Textumi’nin yapay zekâ dedektörü nasıl geliştirildi ve test edildi
Textumi’de işaretlenmiş bir sonucu okumak
İbrenin altındaki etiketle değil, vurgulanan pasajlarla başlayın. Sinyal kişisel bir denemedeki tek bir resmî paragraftan geliyorsa, size sizin hakkınızda değil, o paragraf hakkında bilgi verir.
50 kelimenin altındaki bir metin için Textumi etiket göstermez, yalnızca “Değerlendirmek için metin çok az” der; çünkü bu kadar az metne dayanan bir yargı güvenilmezdir. Aynı belgeden daha uzun bir pasajı kontrol edin: 50 kelimeden itibaren tahmin daha güvenilirdir.
İşaretlenen bir pasaj gerçekten katı okunuyorsa onu kendiniz düzeltin ya da Humanizer’dan anlamı koruyan daha doğal bir sürüm isteyin. Bu, metnin geçmişini değil ifadelerini değiştirir ve başka bir dedektör onu yine de işaretleyebilir.
Sık sorulan sorular
Bir yapay zekâ dedektörü yanılabilir mi?
Evet. Her yapay zekâ dedektörü yalnızca ifadeleri değerlendirdiği ve bir metnin nasıl yazıldığını göremediği için bazen insan yazısını işaretler, bazen de yapay zekâ yazısını kaçırır. Textumi bunu sonuçlarının yanında söyler: etiketi, metnin üslubundan yapılan bir tahmindir, onu kimin yazdığına dair bir hüküm değildir.
Kendi yazdığım metin neden yapay zekâ olarak işaretlendi?
Çoğunlukla kısa, resmî, ikinci bir dilde yazılmış ya da defalarca düzenlenmiş olduğu için. Böyle metinler tahmin edilebilir ifadeler kullanır; tahmin edilebilir ifadeler de dedektörlerin yapay zekâyla ilişkilendirdiği şeydir. İşaret sayfadaki kelimeleri anlatır, nasıl çalıştığınız hakkında kesin hiçbir şey söylemez.
Bir dedektör sonucu yapay zekâ kullandığımı kanıtlayabilir mi?
Hayır. Bir dedektör sonucu istatistiksel bir sinyaldir, ne yaptığınızın kanıtı değildir. Bir not, bir iş ya da bir yayınla ilgili kararın tek dayanağı asla olmamalıdır. Taslaklar, sürüm geçmişi ve çalışma hakkında yapılan bir konuşma yazarlık hakkında çok daha fazlasını söyler.
Dil bilgisi denetleyicileri ve çeviri araçları yanlış pozitiflere yol açar mı?
Açabilir. Yoğun düzeltme ve çeviri kişisel, düzensiz ifadelerin yerine daha pürüzsüz, daha standart ifadeler koyar; çevrilmiş ya da yoğun biçimde düzenlenmiş metinler de dedektörlerin en sık yanlış değerlendirdikleri arasındadır. Bu tür araçlar kullandıysanız bunu açıkça söyleyin ve onlardan önce yazdığınız sürümü saklayın.
Bir metni kendim yazdığımı nasıl gösterebilirim?
Nasıl çalıştığınızı gösterin. Google Docs ya da Microsoft Word’deki sürüm geçmişi, ilk taslaklar, planlar ve notlar, metnin nasıl geliştiğini kaydeder. Ardından argümanınızı ve kaynaklarınızı birlikte konuşmayı önerin. Başka bir dedektörden alınan bir sonuç pek bir şey katmaz, çünkü dedektörler sık sık birbirleriyle çelişir.
Textumi’nin yanlış pozitif oranı nedir?
Tek bir oran yayımlamıyoruz, çünkü oran metnin diline, türüne ve uzunluğuna bağlıdır. Söyleyebileceğimiz şey kuraldır: İngilizce ve Ukraynaca dışındaki her dil için eşik, modelin öğrenmediği yüz insan metninden en fazla ikisinin işaretlendiği yerdedir. Sizin yazı türünüzde bu oran farklı olabilir.
Öğretmenler bir yapay zekâ dedektörü sonucuna güvenmeli mi?
Tek başına değil. Bir sonuç bir konuşma başlatabilir ve konuşulmaya değer pasajlara işaret edebilir, ama bir öğrencinin yapay zekâ kullandığını ortaya koyamaz. İkinci bir dilde ya da resmî bir üslupla yazan öğrenciler daha sık işaretlenir; bu yüzden yalnızca sonuca dayanan bir karar onlara karşı haksızlık olur.