Bir yapay zekâ dedektörü neyi ölçer
Dedektör, bir metnin ifadelerinin, üzerinde eğitildiği yapay zekâ metinlerine ne kadar benzediğini tahmin eder.
Dil modelleri en olası kelimeleri seçmeye ve dengeli, kusursuz kurulmuş cümleler oluşturmaya eğilimlidir. İnsanlar daha az öngörülebilirdir: kendilerini tekrar eder, tempo değiştirir ve hiçbir modelin beklemeyeceği kelimeler seçerler. Dedektör bu istatistiksel farkı çok sayıda örnekten öğrenir.
İki tasarım yaygındır. Birincisi, metnin her kelimesinin ne kadar öngörülebilir olduğunu başka bir dil modeline sorar ve çok öngörülebilir metni şüpheli sayar. Bu ölçüye perplexity (şaşkınlık) denir.
İkincisi eğitilmiş bir sınıflandırıcıdır. Bir kodlayıcı metni bir sayı kümesine dönüştürür, insan ve yapay zekâ örnekleriyle eğitilmiş bir sınıflandırıcı da bu sayıları puanlar. Textumi bu şekilde çalışır; dedektör modellerini kendimiz eğitiyor, ayarlıyor ve kendi sunucularımızda çalıştırıyoruz. İki tasarım da yalnızca metne dayanır.
Filigranlama ayrı bir fikirdir: model yazarken metnine istatistiksel bir iz bırakır, anahtara sahip olan da bu izi kontrol edebilir. Yalnızca böyle bir iz ekleyen modellerde işe yarar, bu yüzden herhangi bir metni okumak için tasarlanmış bir dedektör buna güvenemez.
Dedektör olguları kontrol etmez, argümanı değerlendirmez ve metninizi bir sohbet botu cevapları arşivinde aramaz. Aynı anlama ama farklı ifadelere sahip iki metin çok farklı sonuçlar alabilir.
Sonuç neden bir hüküm değil, bir sinyaldir
İnsan ve yapay zekâ yazısı örtüşür. Bazı insanlar dengeli ve öngörülebilir yazar, bir model de düzensiz yazacak şekilde yönlendirilebilir.
Bu örtüşmenin içinden bir eşik nereden çekilirse çekilsin, bazı insan yazıları yapay zekâ tarafında, bazı yapay zekâ yazıları da insan tarafında kalır. Eşiği kaydırmak yalnızca bir hatayı diğeriyle takas eder.
Sonucun kendisi de kolayca yanlış okunur. Textumi sonucu beş etiketten biriyle adlandırır: “İnsan yazımı”, “Büyük ölçüde insan”, “Karışık: insan ve yapay zekâ”, “Büyük ölçüde yapay zekâ” ve “Yapay zekâ üretimi”. İlk ikisi eşiğin altında, diğer üçü üstündedir. Etiket, yapay zekâ yazarlığı olasılığını ya da metnin üretilmiş payını değil, metnin bütününün üslup olarak nasıl okunduğunu anlatır.
Başka bir dedektör yüzde gösteriyorsa, o da bir modelin tahminidir ve aynı ihtiyatı hak eder.
Bu sınırlar iyi belgelenmiştir. 2023’te OpenAI, düşük doğruluğunu gerekçe göstererek kendi yapay zekâ metin sınıflandırıcısını geri çekti; aynı yıl Stanford araştırmacıları, dedektörlerin anadili İngilizce olmayan yazarların denemelerini anadili İngilizce olanlarınkinden daha sık işaretlediğini bildirdi.
Yeniden ifade etme ve düzenleme sonucu nasıl etkiler
Dedektör kendisine gelen metni değerlendirir. İfadeler değişince sonuç da değişir.
Bir insan yapay zekâyla üretilmiş bir metni cümle cümle yeniden yazdığında, dedektörün tanıdığı örüntülerden daha azı kalır. Bir yapay zekâ asistanı bir insanın metnini cilaladığında ise bu örüntülerden daha fazlası ortaya çıkar.
Sonuç karışık bir metindir. Tamamen insan ve tamamen yapay zekâ örnekleriyle eğitilmiş bir dedektör onu iki taraftan birine yerleştirebilir.
Aynısı, kendi Humanizer’ımız da dahil, parafraz araçları için de geçerlidir. Humanizer bir puanı değil, orijinalin olgularını ve mantığını koruyan doğal bir ifadeyi hedefler. Yeniden yazım yeni bir ifadedir ve dedektörün sonucu metnin nereden geldiğiyle değil, bu ifadeyle ilgilidir; bu yüzden bir dedektörün işaretlemediği bir metni bir başkası yine de işaretleyebilir.
Yoğun dil bilgisi düzeltmesi ve çeviri de sonuçları kaydırır, bazen yapay zekâ tarafına doğru.
Yeni modeller neden hareketli bir hedeftir
Dedektör, metinleri eğitim verisinde yer alan modelleri, o modellerin o dönemdeki yazış biçimiyle tanır. Daha yeni ya da farklı bir modelin metni onlara benzeyebilir de benzemeyebilir de; bunu ancak test gösterebilir.
Textumi’nin İngilizce ve Ukraynaca dışındaki diller için dedektörleri, yaygın olarak kullanılan iki yapay zekâ modelinin metinleriyle eğitildi. Diğer modellerin metinleri bu testlerin dışında kalır; dedektörleri sürekli geliştirmemizin ve onları sürümler hâlinde yayımlamamızın bir nedeni de budur.
İngilizce dışındaki diller neden daha zordur
İngilizce metinle eğitilmiş bir model, diğer dillerde kendiliğinden aynı iyilikte çalışmaya başlamaz. Her dilin kendi insan metinlerine, kendi yapay zekâ metinlerine ve kendi testine ihtiyacı vardır.
En zor kısım, insanlar tarafından yazıldığı bilinen metinleri toplamaktır. Daha küçük dillerde bunlardan daha az vardır, bu yüzden bir eğitim kümesi çoğu zaman yalnızca birkaç türü kapsar.
Textumi her dil için ayrı bir sınıflandırıcı eğitir. En kapsamlı test edilen dedektörler İngilizce ve Ukraynaca dedektörlerdir. Diğer dillerin dedektörleri Wikimedia projelerinden alınan düzyazılar ve iki yapay zekâ modelinin metinleriyle eğitilip test edildi.
Başka türlerde bu dedektörlerin bazıları pek çok yapay zekâ metnini gözden kaçırır; Fransızca, Vietnamca, Türkçe, Endonezce ve Felemenkçe bunlar arasındadır. Çevrilmiş metin, her dilde ayrı bir hata kaynağıdır.
Diller ve her birinin durumuTextumi’nin yapay zekâ dedektörü nasıl geliştirildi ve test edildi
Bir sonuç sorumlu bir şekilde nasıl okunur
- Etikete bakmadan önce vurgulanan pasajları okuyun; sinyalin nereden geldiğini gösterir ve o satırları kendiniz değerlendirmenizi sağlarlar.
- Uzunluğa dikkat edin. Textumi 50 kelimenin altında etiket yerine “Değerlendirmek için metin çok az” gösterir; kısa metinler hangi dedektörde olursa olsun ihtiyat gerektirir.
- Türe ve dile dikkat edin. Resmî bir mektuptaki bir işaret ya da daha dar bir metin kümesiyle test edilmiş bir dildeki sonuç, uzun bir İngilizce denemedeki aynı sonuçtan daha az ağırlık taşır.
- “İnsan yazımı” ve “Büyük ölçüde insan” sonuçlarını tahmin olarak görün. Bunlar dedektörün yapay zekâya benzeyen pek bir şey bulmadığı anlamına gelir, metni kesinlikle bir insanın yazdığı anlamına gelmez.
- Herhangi bir karar vermeden önce başka kanıtlar toplayın: taslaklar, sürüm geçmişi ve yazarla bir konuşma, yazarlık hakkında herhangi bir dedektörden daha fazlasını söyler.
Sık sorulan sorular
Yapay zekâ dedektörleri doğru sonuç verir mi?
Metne bağlıdır ve hiçbir tek rakam bir dedektörü dürüstçe tarif etmez. Sonuçlar dile, türe, metnin uzunluğuna ve onu yazan modele göre değişir. Her dedektör bazen insan yazısını işaretler, bazen de yapay zekâ yazısını gözden kaçırır. Bu yüzden dedektörümüzü nasıl test ettiğimizi yayımlıyoruz, ama bir doğruluk oranının reklamını yapmıyoruz.
Yapay zekâ dedektörleri ChatGPT’yi tespit edebilir mi?
Dedektör belirli bir modele değil, ifadelere tepki verir. ChatGPT, Claude, Gemini ya da başka herhangi bir modelin metni, dedektörün eğitildiği yapay zekâ yazısına benziyorsa işaretlenebilir, benzemiyorsa gözden kaçabilir. Textumi bir metni hangi modelin yazdığını belirlemez ve model model test edilmemiştir.
Yeniden ifade etme ya da düzenleme dedektörün sonucunu değiştirir mi?
Evet. Yeniden yazım ifadeleri değiştirir, sonuç da ifadeleri izler. Bu, yöntemin bir sınırıdır, iki yönde de bir garanti değildir: düzenlenmiş yapay zekâ metni yine işaretlenebilir, bir yeniden yazım başka bir dedektör tarafından işaretlenebilir ve sonuç hiçbir zaman bir metnin kaynağının değiştiğini göstermez.
İki yapay zekâ dedektörü aynı metni neden farklı değerlendirir?
Her biri farklı insan ve yapay zekâ metinleriyle eğitildi, ifadeleri kendi yöntemiyle puanlar ve kendi eşiğini belirler. Sınıra yakın bir metin, sınırın iki tarafına da düşebilir. Dedektörler arasındaki anlaşmazlık normaldir ve her sonucu bir tespit yerine bir sinyal olarak görmek için bir neden daha sunar.
Yapay zekâ dedektörleri kısa metinlerde işe yarar mı?
Pek yaramaz. Birkaç cümle, istikrarlı bir sonuç için çok az kanıt taşır ve tek bir alışılmadık ifade sonucu değiştirebilir. Textumi 5 kelimeden itibaren metin kabul eder, ama 50 kelimenin altında etiket yerine “Değerlendirmek için metin çok az” gösterir. Mümkün olduğunda aynı belgeden daha uzun bir pasajı kontrol edin.
Yapay zekâ dedektörleri İngilizce dışındaki dillerde çalışır mı?
Bazıları çalışır, ama daha fazla çekinceyle. Her dilin kendi eğitim metinlerine ve kendi testine ihtiyacı vardır ve bunları İngilizce dışında toplamak daha zordur. Textumi’nin dedektörü 20 dilde çalışır. En kapsamlı test edilenler İngilizce ve Ukraynacadır; diğerleri daha dar bir metin kümesiyle test edildi ve bazıları başka türlerde daha zayıftır.
Yapay zekâ tespitinde perplexity ve burstiness nedir?
Perplexity, bir metnin bir dil modeli için ne kadar öngörülebilir olduğunu ölçer: değer ne kadar düşükse metin o kadar öngörülebilirdir. Burstiness ise düzensizliği, yani uzun ve kısa, basit ve karmaşık cümlelerin nasıl sırayla geldiğini anlatır. Bazı dedektörler düşük perplexity’yi ve tekdüze ritmi yapay zekâ belirtisi sayar. İki ölçü de kabadır, çünkü kalıplaşmış insan yazısı da öngörülebilirdir. Textumi bu ölçüleri doğrudan kullanmak yerine eğitilmiş bir sınıflandırıcı kullanır.