Öğretmenler için yapay zekâ dedektörü: bir sonucu adil kullanmak

Bir dedektör sonucu neyi destekler, neyi desteklemez

Dedektör bir metni insan ve makine yazısından öğrendiği örüntülerle karşılaştırır ve bir model sinyali döndürür. Textumi sonucu beş etiketten biriyle adlandırır: “İnsan yazımı”, “Büyük ölçüde insan”, “Karışık: insan ve yapay zekâ”, “Büyük ölçüde yapay zekâ” ve “Yapay zekâ üretimi”.

Her etiket metnin üslubuna dayanan bir tahmindir, metni kimin yazdığına dair bir tespit değildir. “İnsan yazımı” metni bir insanın yazdığını doğrulamaz; “Karışık” ya da “Büyük ölçüde yapay zekâ” da metnin ne kadarını bir makinenin yazdığını göstermez, çünkü dedektör bunu ölçmez. Hiçbir etiket, öğrencinin yapay zekâ kullanmış olma olasılığı değildir.

Yani “İnsan yazımı” kimseyi aklamaz, “Yapay zekâ üretimi” de kimseyi mahkûm etmez.

• Bir sonuç, hangi çalışmaların diğerlerinden daha yavaş ve daha dikkatli bir okumayı hak ettiğine karar vermenize yardımcı olabilir.
• Bir sonuç, öğrenciyle konuşurken sormaya değer pasajlara dikkatinizi çekebilir.
• Bir sonuç bir metni kimin yazdığını ortaya koyamaz ve asla not kırma ya da disiplin bildirimi için tek dayanak olmamalıdır.
• Bir sonuç bir anlaşmazlığı çözemez, çünkü öğrencinin bir model sinyaline esastan itiraz etme imkânı yoktur.

Dedektörler iki yönde de yanılır: insan yazısını işaretler, yapay zekâ yazısını gözden kaçırır. 2023’te OpenAI, düşük doğruluğu gerekçe göstererek kendi yapay zekâ metin sınıflandırıcısını geri çekti. Hangi araçtan gelirse gelsin bir sonucu başka kanıtlarla karşılaştırın.

Adil bir inceleme, öğrencinin nasıl yazdığından başlar

Yazarlığın en güçlü kanıtı, bir metnin nasıl ortaya çıktığıdır ve dedektör bunların hiçbirini görmez. Bir çalışma sizi kaygılandırıyorsa, bir kanaate varmadan önce şu adımları izleyin.

1. Önce çalışmayı kendiniz okuyun ve tuhaf gelen şeyleri not edin: üslupta bir değişim, var olmayan kaynaklar, derste hiç işlenmemiş iddialar.
2. Çalışmayı aynı öğrencinin önceki çalışmalarıyla, tercihen sınıfta yazılmış bir metinle karşılaştırın: kelime dağarcığı, cümle uzunluğu, tipik hatalar.
3. Taslakları, notları ve bir ana hattı isteyin. Çevrimiçi bir düzenleyicide yazılmış bir belge genellikle metnin saatler ya da günler içinde büyüdüğünü gösteren bir sürüm geçmişi tutar.
4. Öğrenciyle baş başa ve suçlamadan konuşun. Argümanı açıklamasını, bir kaynağı nasıl bulduğunu anlatmasını ya da bir paragrafı neden o şekilde kurduğunu söylemesini isteyin.
5. Neye baktığınızı ve ne bulduğunuzu, öğrencinin lehine olan her şey dahil, yazıya geçirin.
6. Kurumunuzun prosedürünü izleyin ve tek bir dedektör sonucuna değil, tüm kanıtlara birlikte bakarak karar verin.

Taslaklarını gösterebilen ve çalışmayı ayrıntılı biçimde tartışabilen bir öğrenci, dedektörün ortaya attığı soruyu cevaplamış olur. Bunu yapamıyorsa farklı bir konuşma gerekebilir, ama o durumda da sonuç dedektörün etiketine değil, o konuşmaya ve taslaklara dayanır.

Kısa cevaplar ve anadili farklı yazarlar ayrıca özen ister

Kısa bir metin dedektöre çalışacak çok az malzeme verir. Textumi 5 kelimeden itibaren metin kabul eder, ama 50 kelimenin altında etiket yerine “Değerlendirmek için metin çok az” gösterir; biraz daha uzun bir cevap bile tam bir denemeye göre daha az güvenilir sonuç verir. Textumi yalnızca 50 kelime ve üzeri paragrafları ayrıca değerlendirdiği için tek paragraflık bir cevap ya da bir tartışma gönderisi dedektörle yargılanamayacak kadar incedir.

İkinci bir dilde yazan öğrenciler daha sık yanlışlıkla işaretlenir. 2023’te Stanford araştırmacıları, dedektörlerin anadili İngilizce olmayan yazarların denemelerini anadili İngilizce olanlarınkine göre daha sık yapay zekâ üretimi olarak etiketlediğini buldu. Daha dar bir kelime dağarcığı ve düzenli cümleler modele öngörülebilir görünür; dedektörün makine yazısı olarak okuduğu şey de tam olarak bu öngörülebilirliktir.

Laboratuvar raporları ve özetler gibi kalıplaşmış türlerde, çevrilmiş, yoğun biçimde düzenlenmiş ya da kısmen birinin yardımıyla yazılmış metinlerde de sonuçları aynı ihtiyatla okuyun.

Dil de önemlidir. Textumi’nin en kapsamlı test edilen dedektörleri İngilizce ve Ukraynaca dedektörleridir. Diğer on sekiz dil daha dar bir metin kümesiyle eğitilip test edildi. Fransızca, Vietnamca, Türkçe, Endonezce ve Felemenkçe dedektörler başka türlerdeki yapay zekâ metinlerini sık sık gözden kaçırır; bu yüzden bu dillerde “İnsan yazımı” ya da “Büyük ölçüde insan” sonucu pek bir şey söylemez.

Yapay zekâ ve tespit üzerine kısa bir ders politikası

Öğrenciler kuralları ilk ödevden önce bildiklerinde daha rahat ederler. Kurumunuzun yönetmeliklerine uygun tek bir sayfa şu noktaları kapsayabilir.

• Derste yapay zekânın hangi kullanımlarına izin verildiği, hangilerine verilmediği ve bunun ödevden ödeve değişip değişmediği.
• Öğrencilerin izin verilen yapay zekâ yardımını nasıl beyan etmesi gerektiği, örneğin çalışmanın sonuna eklenen kısa bir notla.
• Taslakları, notları ve sürüm geçmişini notlar kesinleşene kadar saklama ricası ve bunu neden istediğiniz.
• Bir dedektör kullanabileceğiniz, sonucunun kanıt değil bir sinyal olduğu ve hiçbir yaptırımın yalnızca ona dayanmayacağı.
• Bir işaretten sonra ne olacağı: baş başa bir konuşma, taslaklara bir bakış ve ancak kaygılar sürerse resmî prosedür.
• Yanlışlıkla işaretlendiğini düşünen bir öğrencinin nasıl itiraz edebileceği ya da kaygısını nasıl dile getirebileceği.

Textumi’de bir metin nasıl kontrol edilir

1. Textumi hesabınıza giriş yapın, çalışma alanını açın ve Yapay Zekâ Dedektörü’nü seçin.
2. Metni yapıştırın ya da en fazla 10 MB’lık bir DOCX, PDF, ODT, RTF, TXT veya MD dosyası içe aktarın. PNG ya da JPEG formatındaki bir ekran görüntüsünde veya fotoğraftaki metin tanınabilir, ama kontrol etmeden önce onu gözden geçirin.
3. Dili otomatik algılamada bırakın ya da metin kısaysa veya birden fazla dil içeriyorsa kendiniz seçin.
4. Metni analiz et’i seçin. Tek bir kontrol en fazla 12.000 karakter alır, bu yüzden uzun bir ödevi parça parça kontrol edin.
5. Orijinalin yanındaki etikete ve vurgulanan paragraflara bakın. Uzun bir metinde vurgular her paragrafı kapsamaz.

Dedektör Textumi’nin kendi geliştirmesidir: modellerini biz kurduk ve ayarladık, kontroller metni harici bir yapay zekâ sağlayıcısına aktarmadan kendi sunucularımızda çalışır. Onu web çalışma alanında, Bireysel ve Profesyonel planlarda macOS uygulamasında ya da Textumi bağlayıcısı aracılığıyla doğrudan yapay zekâ asistanınızla bir sohbetin içinde kullanabilirsiniz. Dedektörü sürekli geliştiriyor, onunla günlük çalışmayı kolaylaştıran araçları düzenli olarak ekliyoruz.

Kaç kelime kontrol edebileceğiniz planınıza bağlıdır; fiyatlar sayfasında tüm kullanım hakları listelenir. Bireysel ve Profesyonel planlarda sonuçlar 30 gün boyunca özel bir Geçmiş’te kalır, onları daha önce de silebilirsiniz. Geçmiş olmayan planlarda bir sonucu bittikten sonra yaklaşık bir saat açabilirsiniz; bu sürenin ardından ona artık erişemezsiniz ve 7 gün içinde silinir.

Yapay Zekâ Dedektörü’nü açınPlanları karşılaştırınGizlilik politikasını okuyun