Ce este un rezultat fals pozitiv
Un rezultat fals pozitiv este un text scris de un om pe care un detector îl marchează ca generat de AI.
Detectorul nu știe cine a scris textul. Dă un scor formulării, compară scorul cu un prag și raportează tot ce trece de prag drept semnal AI. Inevitabil, unele texte scrise de oameni ajung deasupra lui.
Nicio setare nu rezolvă asta. Un prag mai ridicat marchează mai puține texte umane, dar scapă mai multe texte AI, iar unul mai coborât face invers.
Și companiile mari se lovesc de același zid. În 2023, OpenAI și-a retras propriul clasificator de text AI, invocând acuratețea lui scăzută.
Ale cui texte sunt marcate mai des
Rezultatele fals pozitive nu lovesc la fel orice tip de text. Detectoarele greșesc cel mai des în aceste cazuri:
- Textele scrise într-o limbă străină. Cercetători de la Stanford au raportat în 2023 că detectoarele AI marcau eseurile vorbitorilor nenativi de engleză mai des decât pe cele ale vorbitorilor nativi.
- Textele formale și șablonarde. Scrisorile de intenție, rezumatele, e-mailurile de afaceri și documentele oficiale urmează tipare fixe, iar formularea previzibilă este exact ce declanșează reacția unui detector.
- Textele scurte. Câteva propoziții oferă prea puțin pentru o evaluare, de aceea Textumi nu afișează nicio etichetă sub 50 de cuvinte, iar un rezultat pentru un text puțin peste această limită rămâne mai puțin fiabil.
- Textele foarte șlefuite. Corectoarele gramaticale, traducerea și multele runde de editare netezesc micile neregularități ale unei ciorne reale.
Nu trebuie să scrii mai prost ca să pari om. Dar oricine citește rezultatul unui detector ar trebui să știe că un marcaj pe aceste tipuri de text cântărește mai puțin.
Ce nu dovedește rezultatul unui detector
Un detector vede doar textul final. Nu îți vede notițele, sursele, orele de muncă sau versiunile anterioare ale fișierului. Nu poate deosebi un autor atent de un model care imită un autor atent.
Rezultatul unui detector nu este o probabilitate. Textumi îl numește cu una dintre cele cinci etichete, de la „Scris de om” la „Generat de AI”. Nici „Generat de AI” nu înseamnă că textul a fost aproape sigur scris de AI, iar „Predominant AI” nu înseamnă că un model a scris majoritatea frazelor. O etichetă spune doar că formularea seamănă mult cu ce a învățat detectorul să asocieze cu AI.
Dacă un alt detector afișează un procent, citește-l cu aceeași prudență. Și acela este scorul unui model, nu proporția din text care a fost generată.
Două detectoare pot judeca diferit același text. Au fost antrenate pe exemple diferite și fiecare își trage pragul în alt loc.
Ce faci dacă ești acuzat că ai folosit AI
Rezultatul unui detector, luat singur, este o dovadă slabă. O evidență a felului în care a fost făcut textul este mult mai puternică. Parcurge pașii aceștia în ordine.
- Întreabă ce detector a fost folosit, ce a arătat exact și ce rezultat consideră motiv de suspiciune cei care îți evaluează munca.
- Adună-ți ciornele, planurile, notițele și sursele, inclusiv versiunile brute pe care în mod normal nu le-ai arăta nimănui.
- Deschide istoricul versiunilor documentului. Atât Google Docs, cât și Microsoft Word pot înregistra cum s-a schimbat un text în timp, iar un șir de mici modificări de-a lungul mai multor zile este greu de contestat.
- Oferă-te să discuți lucrarea. Când îți explici argumentul, sursele și alegerile, arăți că ești autorul într-un fel în care niciun detector nu poate.
- Cere regulamentul scris privind folosirea AI și rezultatele detectoarelor și solicită ca decizia să nu se bazeze doar pe rezultatul unui detector.
Pentru lucrările viitoare, scrie într-un editor care păstrează istoricul versiunilor și nu-ți arunca notițele. Nu te costă nimic cât lucrezi, iar dovezile sunt greu de reconstituit ulterior.
Cum își stabilește Textumi pragul
Detectorul Textumi este dezvoltarea noastră: îi antrenăm și îi reglăm noi modelele, le rulăm pe propriile servere și le îmbunătățim continuu. Pragul lui, linia deasupra căreia raportează un semnal AI, este plasat intenționat astfel încât să fie marcate cât mai puține texte umane, chiar dacă atunci unele texte AI trec neobservate.
Pentru fiecare limbă în afară de engleză și ucraineană, pragul stă acolo unde sunt marcate cel mult două texte umane din o sută. Numărăm asta pe texte umane din care modelul nu a învățat.
Pragul pentru ucraineană a fost stabilit după o versiune anterioară a aceleiași reguli. Detectorul pentru engleză este un model mai vechi, cu propriul prag fix.
Este o alegere privind greșeala pe care vrem s-o evităm, nu o promisiune de acuratețe pe textul tău. Numerele provin dintr-un singur tip de text, proza din proiectele Wikimedia, așa că la o scrisoare de intenție sau un e-mail scurt proporția textelor umane marcate poate fi mai mare.
Există și o a doua măsură de siguranță. O versiune nouă de detector pentru oricare dintre aceste limbi nu este lansată dacă marchează mai mult de cinci texte umane din o sută pe texte de test pe care nu le-a văzut niciodată.
Sub prag, rezultatul este „Scris de om” sau „Predominant uman”. Și aceste etichete sunt estimări după stil: Textumi nu poate arăta că un text a fost scris cu siguranță de un om, pentru că un model nu vede cum a fost făcut.
Cum citești un rezultat marcat în Textumi
Începe cu pasajele evidențiate, nu cu eticheta de sub ac. Dacă semnalul vine dintr-un singur paragraf formal dintr-un eseu personal, îți spune ceva despre acel paragraf, nu despre tine.
Pentru un text de sub 50 de cuvinte, Textumi nu afișează nicio etichetă, doar „Prea puțin text pentru o evaluare”, pentru că o judecată pe atât de puțin text nu e fiabilă. Verifică un pasaj mai lung din același document: de la 50 de cuvinte în sus, estimarea este mai fiabilă.
Dacă un pasaj marcat chiar sună rigid, revizuiește-l singur sau cere-i Humanizerului o variantă mai naturală care păstrează sensul. Asta schimbă formularea, nu istoria textului, iar un alt detector îl poate marca totuși.
Întrebări frecvente
Poate greși un detector AI?
Da. Orice detector AI marchează uneori texte scrise de oameni și scapă texte scrise de AI, pentru că judecă doar formularea și nu poate vedea cum a fost făcut un text. Textumi spune asta chiar lângă rezultate: eticheta lui este o estimare făcută după stilul textului, nu un verdict despre cine l-a scris.
De ce mi-a fost marcat ca AI propriul text?
Cel mai des pentru că e scurt, formal, scris într-o limbă străină sau editat de multe ori. Un astfel de text folosește formulări previzibile, iar formulările previzibile sunt ce asociază detectoarele cu AI. Marcajul descrie cuvintele de pe pagină și nu spune nimic sigur despre felul în care ai lucrat.
Poate rezultatul unui detector să dovedească faptul că am folosit AI?
Nu. Rezultatul unui detector este un semnal statistic, nu o dovadă a ceea ce ai făcut. Nu ar trebui să fie niciodată singura bază pentru o decizie despre o notă, un loc de muncă sau o publicare. Ciornele, istoricul versiunilor și o discuție despre lucrare spun mult mai mult despre cine e autorul.
Corectoarele gramaticale și instrumentele de traducere provoacă rezultate fals pozitive?
Pot. Corectura intensă și traducerea înlocuiesc formulările personale și neregulate cu unele mai netede și mai standard, iar textele traduse sau puternic editate sunt printre cele pe care detectoarele le judecă greșit cel mai des. Dacă ai folosit astfel de instrumente, spune-o deschis și păstrează versiunea pe care ai scris-o înainte de ele.
Cum pot arăta că am scris singur un text?
Arată cum ai lucrat. Istoricul versiunilor din Google Docs sau Microsoft Word, primele ciorne, planurile și notițele înregistrează toate cum s-a dezvoltat textul. Apoi oferă-te să discuți argumentul și sursele. Rezultatul încă unui detector adaugă puțin, pentru că detectoarele nu se pun adesea de acord între ele.
Care este rata de rezultate fals pozitive a Textumi?
Nu publicăm o rată unică, pentru că depinde de limba, genul și lungimea textului. Putem spune regula: pentru fiecare limbă în afară de engleză și ucraineană, pragul stă acolo unde sunt marcate cel mult două din o sută de texte umane din care modelul nu a învățat. Pe tipul tău de text, proporția poate fi alta.
Ar trebui profesorii să se bazeze pe rezultatul unui detector AI?
Nu doar pe el. Un rezultat poate deschide o discuție și poate arăta pasaje care merită discutate, dar nu poate stabili că un student a folosit AI. Studenții care scriu într-o limbă străină sau într-un stil formal sunt marcați mai des, așa că o decizie bazată doar pe rezultat ar fi nedreaptă față de ei.