Două tipuri de greșeli
Un detector poate greși în două direcții. Poate semnala un text scris de un om, adică un rezultat fals pozitiv, sau poate lăsa să treacă un text scris de AI, adică o ratare.
Cele două greșeli trag în sensuri opuse. Orice detector compară un scor cu un prag: dacă pragul e mai jos, prinde mai multe texte AI, dar semnalează mai mulți oameni; dacă e mai sus, semnalează mai puțini oameni, dar ratează mai multe texte AI. Nicio setare nu le elimină pe amândouă.
Așadar, prima întrebare despre orice detector nu e cât de precis este, ci ce greșeală încearcă să evite. Când e vorba de decizii despre oameni, un rezultat fals pozitiv este de obicei cel mai dăunător.
Nici companiile mari n-au scăpat de această problemă. În 2023, OpenAI și-a retras propriul clasificator de text AI, invocând precizia lui scăzută.
De ce afirmațiile despre o precizie de 99% induc în eroare
O singură cifră de precizie ascunde mai mult decât arată. Amestecă cele două tipuri de greșeli într-un singur număr și descrie un singur set de test, ales de cine a făcut testul.
Tocmai acest set de test contează cel mai mult. Un detector măsurat pe răspunsuri brute, needitate, ale unui chatbot în engleză va arăta mult mai bine decât același detector pe texte scurte, editate sau traduse într-o altă limbă.
Și ratele mici de eroare se adună. Să zicem că un detector semnalează greșit 1 text uman din 100. La un curs cu 300 de eseuri scrise cinstit, asta înseamnă aproximativ trei studenți semnalați pentru o muncă pe care au făcut-o singuri.
Când citești o afirmație despre precizie, caută ce se află în spatele ei: ce limbi și genuri au fost testate, cât de lungi erau textele, dacă erau editate, cine a ales textele umane și câte dintre ele au fost semnalate. O afirmație fără aceste detalii îți spune foarte puțin.
Unde le e greu detectoarelor
Detectoarele se descurcă cel mai prost tocmai pe textele pe care oamenii au cel mai des nevoie să le verifice:
- Textele scurte. Câteva fraze oferă prea puține indicii, motiv pentru care Textumi afișează „Prea puțin text pentru o evaluare” la orice text de sub 50 de cuvinte.
- Textele editate, parafrazate sau traduse. Fiecare modificare îndepărtează formularea de ceea ce a învățat detectorul, în ambele direcții.
- Scrisul formal și șablonard, precum rezumatele, scrisorile de intenție și corespondența oficială, care urmează tipare pe care un detector le poate citi drept mecanice.
- Textele scrise într-o a doua limbă. Cercetători de la Stanford au raportat în 2023 că detectoarele semnalau mai des eseurile scrise în engleză de vorbitori nenativi.
- Limbile și genurile pe care detectorul le-a văzut puțin în timpul antrenării.
Ultimul punct se aplică și la Textumi. Detectoarele noastre pentru alte limbi decât engleza și ucraineana au fost antrenate și testate pe proză din Wikimedia. Pe un eșantion mic de alte tipuri de text AI, precum anunțuri, reclamații și instrucțiuni, detectoarele pentru franceză, vietnameză, turcă și indoneziană n-au identificat majoritatea textelor, iar cele pentru suedeză și neerlandeză au ratat cam jumătate.
De ce sunt marcate textele scrise de oameniCum funcționează detectoarele AI
Cum testezi singur un detector
Cel mai corect test este cel pe care îl faci pe texte asemănătoare cu ale tale. Durează o oră și îți spune mai mult decât orice cifră publicată.
- Adună cel puțin zece texte despre care știi sigur că le-a scris un om, în limba și genul tău, ideal scrise înainte ca asistenții AI să devină obișnuiți.
- Scrie sau generează tot atâtea texte AI pe teme asemănătoare și de lungime asemănătoare, iar câteva dintre ele editează-le așa cum fac oamenii în realitate.
- Verifică fiecare text cu fiecare detector pe care îl compari și notează rezultatul, fără să modifici nimic între verificări.
- Numără separat câte texte umane au fost semnalate și câte texte AI au fost ratate, apoi uită-te ce pasaje a marcat fiecare detector.
Dacă un detector semnalează mai multe dintre textele tale scrise sigur de oameni, tratează cu mare prudență rezultatele lui pe acel tip de text, orice ar spune reclamele lui.
Cum își testează Textumi propriul detector
Nu publicăm o singură cifră de precizie pentru Textumi, pentru că nu există una onestă, valabilă pentru orice limbă și orice tip de text. În schimb, publicăm regula pe care trebuie s-o respecte fiecare versiune a detectorului.
Pentru alte limbi decât engleza și ucraineana, pragul este stabilit acolo unde sunt semnalate cel mult 2 din 100 de texte umane din care clasificatorul nu a învățat. Astfel, alarmele false rămân rare, cu prețul unor texte AI ratate în plus.
Fiecare versiune este testată o singură dată pe un set sigilat de texte pe care nu l-a văzut niciodată, cu condiții pentru ambele tipuri de greșeli. Orice test picat este abandonat. Pagina de metodologie detaliază regula, singura limbă pe care Textumi o oferă prin propria decizie, deși testul ei a rămas puțin sub prag, și ce nu acoperă testele.
Oricare ar fi regula, un rezultat este o estimare pe baza stilului textului. Nu este o probabilitate și nici o dovadă despre cine l-a scris.
Întrebări frecvente
Sunt precise detectoarele AI?
Pot fi utile, dar niciunul nu este precis în mod sigur pe orice text. Toate detectoarele semnalează o parte din textele scrise de oameni și ratează o parte din cele scrise de AI, în măsură diferită, în funcție de limba, genul, lungimea și editarea textului. Orice rezultat trebuie tratat ca un semnal care cere context, nu ca o dovadă a paternității.
Poate un detector AI să aibă o precizie de 99%?
Un detector poate obține un scor foarte mare pe un anumit set de texte, dar acel scor spune ceva doar despre textele respective, adesea lungi și needitate, și amestecă două tipuri de greșeli într-un singur număr. Același detector se poate descurca mult mai slab pe texte scurte, editate, traduse sau formale. Așa că află neapărat pe ce a fost măsurat scorul.
Care este cel mai precis detector AI?
Nu există un singur răspuns onest. Companiile testează pe propriile texte, iar cifrele nu sunt comparabile. Cel mai bun detector pentru tine este cel care semnalează cele mai puține dintre textele tale despre care știi că sunt scrise de oameni, dar prinde în continuare textele generate de AI de tipul tău, așa că încearcă mai multe detectoare pe propriile texte.
Ce precizie are Textumi?
Nu publicăm o singură cifră, pentru că n-ar fi adevărată pentru orice limbă și gen. Publicăm în schimb metoda: pentru alte limbi decât engleza și ucraineana, pragul permite cel mult 2 texte umane semnalate din 100, printre textele din care modelul nu a învățat, iar fiecare versiune trebuie să îndeplinească anumite condiții la un test sigilat. Detaliile sunt pe pagina de metodologie.
De ce două detectoare dau rezultate diferite pentru același text?
Au fost antrenate pe exemple diferite și își trasează pragurile în locuri diferite. Un text aflat aproape de limită poate ajunge de oricare parte a ei, iar un detector poate reacționa la formulări pe care altul le ignoră. De aceea, un singur rezultat, de la orice detector, spune mai puțin decât cred de obicei oamenii.
Ar trebui ca rezultatul unui detector să decidă o notă sau o angajare?
Nu. Un rezultat este un semnal statistic despre formulare și nu ar trebui să fie niciodată singurul temei al unei decizii despre o persoană. Ciornele, istoricul versiunilor, sursele și o discuție despre lucrare arată mult mai bine cine e autorul și îi protejează pe cei al căror scris onest se întâmplă să pară previzibil.