İki tür hata
Bir dedektör iki yönde yanılabilir. Bir insanın yazdığı metni işaretleyebilir, buna yanlış pozitif denir; ya da bir yapay zekâ metnini geçirebilir, bu da kaçırmadır.
Bu iki hata birbirine ters yönde çeker. Her dedektör bir puanı bir eşikle karşılaştırır: eşiği düşürürseniz daha fazla yapay zekâ metni yakalar ama daha fazla insanı işaretler; yükseltirseniz daha az insanı işaretler ama daha fazla yapay zekâ metnini kaçırır. Hiçbir ayar ikisini birden ortadan kaldırmaz.
Bu yüzden herhangi bir dedektör hakkında sorulacak ilk soru ne kadar doğru olduğu değil, hangi hatadan kaçınmaya çalıştığıdır. İnsanlar hakkındaki kararlarda genellikle daha zararlı olan yanlış pozitiftir.
Büyük şirketler bile bu sorunla karşılaştı. 2023’te OpenAI, düşük doğruluğunu gerekçe göstererek kendi yapay zekâ metin sınıflandırıcısını geri çekti.
%99 doğruluk iddiaları neden yanıltır
Tek bir doğruluk rakamı gösterdiğinden fazlasını gizler. İki tür hatayı tek bir sayıda karıştırır ve testi yapanın seçtiği tek bir test kümesini tarif eder.
En çok önemli olan da bu test kümesidir. İngilizce, ham ve düzenlenmemiş sohbet botu cevaplarıyla ölçülen bir dedektör, aynı dedektörün başka bir dildeki kısa, düzenlenmiş ya da çevrilmiş metinlerdeki hâlinden çok daha iyi görünür.
Küçük hata oranları da birikir. Bir dedektörün 100 insan metninden 1’ini yanlışlıkla işaretlediğini varsayalım. 300 dürüst ödevin olduğu bir derste bu, kendi yazdıkları çalışma yüzünden işaretlenen yaklaşık üç öğrenci demektir.
Bir doğruluk iddiası okuduğunuzda arkasında ne olduğuna bakın: hangi diller ve türler test edildi, metinler ne uzunluktaydı, düzenlenmişler miydi, insan metinlerini kim seçti ve kaç insan metni işaretlendi. Bu ayrıntılar olmadan bir iddia size çok az şey söyler.
Dedektörlerin zorlandığı yerler
Dedektörler en kötü sonucu, insanların en sık kontrol etmesi gereken metinlerde verir:
- Kısa metinler. Birkaç cümle çok az kanıt taşır; Textumi’nin 50 kelimenin altındaki her şey için “Değerlendirmek için metin çok az” göstermesinin nedeni budur.
- Düzenlenmiş, yeniden ifade edilmiş ya da çevrilmiş metinler. Her değişiklik ifadeleri dedektörün öğrendiklerinden iki yönde de uzaklaştırır.
- Özetler, ön yazılar ve resmî yazışmalar gibi, dedektörün makineye benzer okuyabileceği şablonları izleyen resmî ve kalıplaşmış yazılar.
- İkinci bir dilde yazılan metinler. Stanford araştırmacıları 2023’te, dedektörlerin anadili İngilizce olmayan yazarların denemelerini daha sık işaretlediğini bildirdi.
- Dedektörün eğitim sırasında az gördüğü diller ve türler.
Sonuncusu Textumi için de geçerlidir. İngilizce ve Ukraynaca dışındaki diller için dedektörlerimiz Wikimedia düzyazılarıyla eğitilip test edildi. Duyurular, şikâyetler ve talimatlar gibi başka türden yapay zekâ metinlerinden oluşan küçük bir örneklemde Fransızca, Vietnamca, Türkçe ve Endonezce dedektörler bu metinlerin çoğunu tespit edemedi; İsveççe ve Felemenkçe dedektörler ise yaklaşık yarısını kaçırdı.
İnsan yazısı neden işaretlenirYapay zekâ dedektörleri nasıl çalışır
Bir dedektörü kendiniz nasıl test edersiniz
En adil test, kendi metinlerinize benzeyen metinlerle yaptığınız testtir. Bir saat sürer ve yayımlanmış herhangi bir rakamdan daha fazlasını söyler.
- Bir insanın yazdığını bildiğiniz, kendi dilinizde ve türünüzde, tercihen yapay zekâ asistanları yaygınlaşmadan önce yazılmış on ya da daha fazla metin toplayın.
- Benzer konularda ve benzer uzunlukta aynı sayıda yapay zekâ metni yazdırın ya da üretin ve bunların birkaçını insanların gerçekten yaptığı gibi düzenleyin.
- Her metni karşılaştırdığınız her dedektörle kontrol edin ve arada hiçbir şeyi değiştirmeden sonucu not edin.
- Kaç insan metninin işaretlendiğini ve kaç yapay zekâ metninin kaçırıldığını ayrı ayrı sayın, her dedektörün hangi pasajları işaretlediğine bakın.
Bir dedektör insan yazısı olduğunu bildiğiniz metinlerin birkaçını işaretliyorsa, pazarlaması ne derse desin, o tür yazılardaki sonuçlarına büyük bir ihtiyatla yaklaşın.
Yapay zekâ dedektörlerinin karşılaştırmasıTextumi ve GPTZero karşılaştırması
Textumi kendi dedektörünü nasıl test ediyor
Textumi için tek bir doğruluk rakamı yayımlamıyoruz, çünkü her dil ve her metin türü için geçerli dürüst bir rakam yok. Bunun yerine her dedektör sürümünün karşılaması gereken kuralı yayımlıyoruz.
İngilizce ve Ukraynaca dışındaki diller için eşik, sınıflandırıcının öğrenmediği insan metinlerinin 100’de en fazla 2’sinin işaretleneceği noktaya konur. Bu, yanlış alarmları seyrek tutar ve daha fazla yapay zekâ metninin kaçırılmasını kabul eder.
Her sürüm, daha önce hiç görmediği mühürlü bir metin kümesinde, iki tür hata için de koşullarla bir kez test edilir. Başarısız olan her test bir kenara konur. Metodoloji sayfası bu kuralı, testi az farkla tutturamamasına rağmen Textumi’nin kendi kararıyla sunduğu tek dili ve testlerin neleri kapsamadığını ayrıntılı olarak anlatır.
Kural ne olursa olsun, sonuç metnin üslubuna dayanan bir tahmindir. Bir olasılık değildir ve metni kimin yazdığının kanıtı da değildir.
Textumi’nin yapay zekâ dedektörü nasıl geliştirildi ve test edildi
Sık sorulan sorular
Yapay zekâ dedektörleri doğru sonuç verir mi?
İşe yarayabilirler, ama hiçbiri her metinde güvenilir biçimde doğru değildir. Tüm dedektörler, metnin diline, türüne, uzunluğuna ve düzenlenme biçimine bağlı olarak değişen ölçülerde bazı insan yazılarını işaretler ve bazı yapay zekâ yazılarını kaçırır. Her sonuç, yazarlığın kanıtı olarak değil, bağlam gerektiren bir sinyal olarak ele alınmalıdır.
Bir yapay zekâ dedektörü %99 doğru olabilir mi?
Bir dedektör tek bir metin kümesinde çok yüksek puan alabilir, ama bu puan yalnızca o metinler hakkında bir şey söyler; bunlar çoğu zaman uzun ve düzenlenmemiş metinlerdir ve puan iki tür hatayı tek bir sayıda karıştırır. Aynı dedektör kısa, düzenlenmiş, çevrilmiş ya da resmî metinlerde çok daha kötü sonuç verebilir. Bu yüzden puanın neyle ölçüldüğünü mutlaka öğrenin.
En doğru sonuç veren yapay zekâ dedektörü hangisi?
Dürüst, tek bir cevabı yok. Şirketler kendi metinleriyle test ediyor ve rakamlar karşılaştırılabilir değil. Sizin için en iyi dedektör, insan yazısı olduğunu bildiğiniz kendi metinlerinizden en azını işaretleyen, ama sizin türünüzdeki yapay zekâ metinlerini yine de işaretleyen dedektördür; bu yüzden birkaç dedektörü kendi metinlerinizle deneyin.
Textumi’nin doğruluk oranı nedir?
Tek bir rakam yayımlamıyoruz, çünkü her dil ve tür için doğru olmazdı. Bunun yerine yöntemi yayımlıyoruz: İngilizce ve Ukraynaca dışındaki diller için eşik, modelin öğrenmediği metinler arasında 100 insan metninden en fazla 2’sinin işaretlenmesine izin verir ve her sürüm mühürlü bir testte koşullara tabi tutulur. Ayrıntıları metodoloji sayfasında bulabilirsiniz.
İki dedektör aynı metin için neden farklı sonuçlar verir?
Farklı örneklerle eğitildiler ve eşiklerini farklı yerlere çekiyorlar. Sınıra yakın bir metin iki tarafa da düşebilir; bir dedektör, diğerinin görmezden geldiği ifadelere tepki verebilir. Bu yüzden hangi dedektörden gelirse gelsin tek bir sonuç, insanların çoğu zaman sandığından daha az şey söyler.
Bir not ya da işe alım kararını dedektör sonucu mu belirlemeli?
Hayır. Sonuç ifadelere dair istatistiksel bir sinyaldir ve bir kişi hakkındaki kararın asla tek dayanağı olmamalıdır. Taslaklar, sürüm geçmişi, kaynaklar ve çalışma üzerine bir konuşma yazarlığı çok daha iyi gösterir ve dürüst yazısı tesadüfen öngörülebilir görünen insanları korur.