Ce măsoară un detector AI
Un detector estimează cât de mult seamănă formularea unui text cu textele scrise de AI pe care a fost antrenat.
Modelele de limbaj tind să aleagă cuvintele cele mai probabile și să construiască fraze uniforme, bine formate. Oamenii sunt mai puțin previzibili: se repetă, schimbă ritmul și aleg cuvinte la care niciun model nu s-ar aștepta. Un detector învață această diferență statistică dintr-un număr mare de exemple.
Există două abordări răspândite. Prima întreabă un alt model de limbaj cât de previzibil este fiecare cuvânt din text și tratează textul foarte previzibil ca suspect. Această măsură se numește perplexitate.
A doua este un clasificator antrenat. Un encoder transformă textul într-un set de numere, iar un clasificator antrenat pe exemple umane și AI acordă un scor acestor numere. Textumi funcționează astfel, cu modele de detecție pe care le antrenăm, le reglăm și le rulăm pe serverele noastre. Ambele abordări se bazează doar pe text.
Marcajul digital, sau watermarkingul, este o idee separată: un model lasă un semn statistic în text pe măsură ce scrie, iar cine deține cheia îl poate verifica. Funcționează doar la modelele care adaugă un astfel de semn, așa că un detector care trebuie să citească orice text nu se poate baza pe el.
Un detector nu verifică faptele, nu evaluează argumentația și nu caută textul tău într-o arhivă de răspunsuri ale chatboturilor. Două texte cu același sens și formulări diferite pot primi rezultate foarte diferite.
De ce rezultatul este un semnal și nu un verdict
Scrisul uman și cel generat de AI se suprapun. Unii oameni scriu uniform și previzibil, iar unui model i se poate cere să scrie neuniform.
Oriunde ai trasa un prag prin această zonă de suprapunere, o parte din textele umane ajung de partea AI și o parte din textele AI de partea umană. Mutarea pragului nu face decât să schimbe o greșeală pe alta.
Rezultatul în sine e ușor de interpretat greșit. Textumi îl numește cu una dintre cele cinci etichete: „Scris de om”, „Predominant uman”, „Mixt: om și AI”, „Predominant AI” și „Generat de AI”. Primele două se află sub prag, celelalte trei deasupra lui. O etichetă descrie cum sună stilul întregului text, nu probabilitatea ca autorul să fie un AI și nici proporția din text care a fost generată.
Dacă un alt detector afișează un procent, și acela este o estimare a unui model și merită aceeași prudență.
Aceste limite sunt bine documentate. În 2023, OpenAI și-a retras propriul clasificator de text AI, invocând precizia lui scăzută, iar în același an cercetători de la Stanford au raportat că detectoarele semnalau eseurile scrise în engleză de vorbitori nenativi mai des decât pe cele ale vorbitorilor nativi.
Ce fac parafrazarea și editarea cu un rezultat
Un detector judecă textul pe care îl primește. Când se schimbă formularea, se schimbă și rezultatul.
Când un om rescrie frază cu frază un text generat de AI, rămân mai puține dintre tiparele pe care le cunoaște detectorul. Când un asistent AI șlefuiește textul unui om, apar mai multe.
Rezultatul este un text mixt. Un detector antrenat pe exemple pur umane și pur AI îl poate plasa de oricare parte.
La fel se întâmplă cu instrumentele de parafrazare, inclusiv cu propriul nostru Humanizer. Humanizerul urmărește o formulare naturală care păstrează faptele și logica originalului, nu un anumit scor. O rescriere este o formulare nouă, iar rezultatul detectorului privește acea formulare, nu proveniența textului, așa că un text pe care un detector nu-l semnalează poate fi semnalat totuși de altul.
Corecturile gramaticale masive și traducerea schimbă și ele rezultatele, uneori spre partea AI.
De ce modelele noi sunt o țintă în mișcare
Un detector cunoaște modelele ale căror texte s-au aflat în datele lui de antrenare, așa cum scriau acele modele la momentul respectiv. Textul unui model mai nou sau diferit poate să semene cu ele sau nu, iar doar testele o pot arăta.
Detectoarele Textumi pentru alte limbi decât engleza și ucraineana au fost antrenate pe texte generate de două modele AI larg folosite. Textele altor modele nu intră în aceste teste, acesta fiind unul dintre motivele pentru care îmbunătățim continuu detectoarele și le lansăm în versiuni succesive.
De ce alte limbi decât engleza sunt mai dificile
Un model antrenat pe texte în engleză nu începe de la sine să funcționeze la fel de bine în alte limbi. Fiecare limbă are nevoie de propriile texte umane, de propriile texte AI și de propriul test.
Cel mai greu este să aduni texte despre care se știe sigur că sunt scrise de oameni. Limbile mai mici au mai puține astfel de texte, așa că un set de antrenare acoperă adesea doar câteva genuri.
Textumi antrenează un clasificator separat pentru fiecare limbă. Detectoarele pentru engleză și ucraineană sunt cele mai temeinic testate. Detectoarele pentru celelalte limbi au fost antrenate și testate pe proză din proiectele Wikimedia și pe texte generate de două modele AI.
În alte genuri, unele dintre aceste detectoare ratează multe texte AI, printre ele cele pentru franceză, vietnameză, turcă, indoneziană și neerlandeză. Textul tradus este o sursă suplimentară de erori în orice limbă.
Limbile și situația fiecăreiaCum este construit și testat detectorul AI Textumi
Cum citești un rezultat în mod responsabil
- Citește pasajele evidențiate înainte să te uiți la etichetă, pentru că ele arată de unde vine semnalul și te lasă să judeci singur acele rânduri.
- Ține cont de lungime. Sub 50 de cuvinte, Textumi afișează „Prea puțin text pentru o evaluare” în locul unei etichete, iar textele scurte cer prudență la orice detector.
- Ține cont de gen și de limbă. O semnalare pe o scrisoare formală sau un rezultat într-o limbă testată pe un set mai restrâns de texte cântărește mai puțin decât același rezultat pe un eseu lung în engleză.
- Tratează „Scris de om” și „Predominant uman” ca pe niște estimări. Ele înseamnă că detectorul a găsit puține lucruri care seamănă cu AI, nu că textul l-a scris sigur un om.
- Adună și alte dovezi înainte să decizi ceva: ciornele, istoricul versiunilor și o discuție cu autorul spun mai mult despre paternitatea textului decât orice detector.
De ce sunt marcate textele scrise de oameniUtilizare responsabilă
Întrebări frecvente
Sunt precise detectoarele AI?
Depinde de text, iar nicio cifră unică nu descrie onest un detector. Rezultatele variază în funcție de limbă, de gen, de lungimea textului și de modelul care l-a scris. Orice detector semnalează uneori texte scrise de oameni și ratează texte scrise de AI. De aceea publicăm felul în care ne testăm detectorul, dar nu facem reclamă cu o cifră de precizie.
Pot detectoarele AI să recunoască ChatGPT?
Un detector reacționează la formulare, nu la un anumit model. Un text de la ChatGPT, Claude, Gemini sau orice alt model poate fi semnalat dacă seamănă cu textele AI pe care a fost antrenat detectorul și poate fi ratat dacă nu seamănă. Textumi nu identifică modelul care a scris un text și nu a fost testat model cu model.
Schimbă parafrazarea sau editarea rezultatul unui detector?
Da. O rescriere schimbă formularea, iar rezultatul urmează formularea. Aceasta este o limită a metodei, nu o garanție într-un sens sau altul: un text AI editat poate fi semnalat în continuare, o rescriere poate fi semnalată de un alt detector, iar rezultatul nu arată niciodată că originea unui text s-a schimbat.
De ce două detectoare AI judecă diferit același text?
Fiecare a fost antrenat pe alte texte umane și AI, punctează formularea în felul lui și își stabilește propriul prag. Un text aflat aproape de limită poate cădea de oricare parte a ei. Dezacordul dintre detectoare este normal și este încă un motiv să tratezi fiecare rezultat ca pe un semnal, nu ca pe o constatare.
Funcționează detectoarele AI pe texte scurte?
Slab. Câteva fraze conțin prea puține indicii pentru un rezultat stabil, iar o singură expresie neobișnuită îl poate muta. Textumi acceptă texte de la 5 cuvinte, dar sub 50 de cuvinte afișează „Prea puțin text pentru o evaluare” în locul unei etichete. Ori de câte ori poți, verifică un pasaj mai lung din același document.
Funcționează detectoarele AI și în alte limbi decât engleza?
Unele da, cu mai multe rezerve. Fiecare limbă are nevoie de propriile texte de antrenare și de propriul test, iar acestea sunt mai greu de adunat în afara englezei. Detectorul Textumi funcționează în 20 de limbi. Engleza și ucraineana sunt cele mai temeinic testate; celelalte au fost testate pe un set mai restrâns de texte, iar unele sunt mai slabe în alte genuri.
Ce sunt perplexitatea și burstiness în detecția AI?
Perplexitatea măsoară cât de previzibil este un text pentru un model de limbaj: cu cât e mai mică, cu atât textul e mai previzibil. Burstiness descrie neuniformitatea, adică felul în care alternează frazele lungi și scurte, simple și complexe. Unele detectoare tratează perplexitatea scăzută și ritmul uniform ca semne de AI. Ambele măsuri sunt grosiere, pentru că și scrisul uman șablonard este previzibil. Textumi folosește un clasificator antrenat, nu aceste măsuri în mod direct.