Cum este construit și testat detectorul AI Textumi

Un clasificator pentru fiecare limbă

Ucraineana și cele optsprezece limbi adăugate ulterior folosesc un encoder multilingv comun, un model care transformă textul în numere. Encoderul este înghețat, așa că ponderile lui nu se schimbă niciodată. Deasupra lui stă un clasificator mic, antrenat pentru o singură limbă.

Un text lung este citit în ferestre consecutive, iar rezultatele se combină într-un singur scor pentru tot textul. Până la trei paragrafe de cel puțin 50 de cuvinte primesc și un scor separat, iar acestea sunt pasajele pe care le evidențiază detectorul.

Engleza are un model mai vechi, separat: propriul encoder englezesc înghețat, clasificatoare antrenate de Textumi peste el și un al doilea model, al cărui semnal se combină cu al lor după o regulă fixă.

Un text este evaluat întotdeauna de clasificatorul propriei limbi. O limbă fără un clasificator aprobat primește un mesaj de eroare, niciodată un scor împrumutat de la altă limbă.

De unde provin textele de antrenare

Textele umane pentru cele optsprezece limbi provin din proiectele Wikimedia: știri din Wikinews, articole din Wikipedia și pagini de discuție din Wikipedia. Hindi, indoneziana, vietnameza, ebraica și daneza nu au Wikinews, așa că locul lui îl iau manualele din Wikibooks.

Fiecare text este un paragraf întreg de proză, de 80 până la 280 de cuvinte, din ultima revizie a paginii sale făcută înainte de 2020. Data este dovada că l-a scris un om. Niciun text nu este etichetat ca uman pentru că așa a spus un alt detector.

Cioturile scrise de programe și notificările repetate de la o pagină la alta sunt filtrate. Filtrele le reduc numărul, dar nu le pot prinde chiar pe toate.

Fiecare text uman are un omolog AI pe același subiect, în același gen și aceeași limbă și de lungime asemănătoare. Omologii au fost scriși de două modele AI larg folosite, de la furnizori diferiți, fiecare pentru jumătate dintre surse. Răspunsurile trunchiate, cele care își copiau sursa sau cele care nu erau proză simplă au fost eliminate.

Corpusul ucrainean este mai vechi: conține texte istorice de pe Wikimedia și texte AI de la un singur model. Niciun detector nu este antrenat pe texte ale clienților.

Un test sigilat, deschis o singură dată pentru fiecare versiune

Textele sunt grupate după sursă, astfel încât capitolele unui manual sau arhivele unei pagini de discuție rămân împreună. Grupurile sunt împărțite o singură dată în trei părți: antrenare, calibrare și test. Un text uman și omologul lui AI ajung întotdeauna în aceeași parte.

Testul cuprinde aproximativ 200 de grupuri de surse. Rămâne sigilat cât timp se alege clasificatorul și i se stabilește pragul, iar apoi este deschis o singură dată.

Dacă versiunea nu trece, testul respectiv nu mai este folosit. Textele lui devin date de antrenare, iar versiunea următoare este testată pe grupuri noi de surse, pe care nicio versiune anterioară nu le-a văzut. Așa ne ferim să reglăm un clasificator până când se potrivește întâmplător propriului examen.

Cum se stabilesc pragul și etichetele rezultatului

Pentru cele optsprezece limbi, pragul stă acolo unde sunt marcate cel mult 2 din 100 de texte umane. Se numără pe texte umane din care clasificatorul nu a învățat, adică, la primele versiuni, pe partea de calibrare.

Versiunile făcute după 12 octombrie 2026 îl numără pe toate textele din afara testului, fiecare evaluat de un clasificator care nu i-a văzut niciodată grupul de surse. Pragul este înghețat înainte de deschiderea testului.

Regula aceasta ține intenționat alarmele false rare și acceptă că mai multe texte AI vor scăpa. Nu transformă scorul într-o probabilitate.

Pragul fiecărui clasificator este plasat la 0,5 pe scala modelului, de la 0 la 1. Acel punct este linia de semnal. Pe textumi.com scorul este afișat fără cifră: un ac pe un indicator de la „Om” la „AI” și una dintre cele cinci etichete.

Un text de sub 50 de cuvinte nu primește etichetă: Textumi afișează în schimb „Prea puțin text pentru o evaluare”. Fiecare etichetă este o estimare făcută după stilul textului, nu o proporție măsurată de text AI și nici o dovadă de autor. Un asistent AI conectat prin MCP primește scorul ca atare, sub formă de număr.

Ștacheta pe care o versiune trebuie să o treacă înainte de lansare

O versiune pentru una dintre cele optsprezece limbi este oferită doar dacă testul ei conține cel puțin 150 de texte umane și 150 de texte AI și dacă toate cele trei condiții de mai jos sunt îndeplinite pe acel test:

• sunt marcate cel mult 5% dintre textele umane, ca alarmele false să rămână puține;
• sunt găsite cel puțin 60% dintre textele AI din întregul test;
• sunt găsite cel puțin 50% dintre textele AI din fiecare domeniu al corpusului: știri sau manuale, articole de enciclopedie și discuții.

Înainte de aprobare, clasificatorul exportat este încărcat de același cod care tratează cererile, iar scorurile lui sunt comparate cu cele pe care le-a dat la antrenare.

O limbă a cărei versiune nu trece ștacheta nu este oferită. Ceha nu a trecut-o, așa că Textumi nu acceptă ceha.

Neerlandeza este singura excepție. Versiunea ei actuală a rămas foarte puțin sub ștachetă: a găsit 59,8% dintre textele AI, acolo unde se cer 60%, și 49,4% în articolele de enciclopedie, acolo unde se cer 50%. Textumi a decis să o ofere totuși și a lăsat regula neschimbată.

Ce îți spune o versiune lansată

O versiune lansată a îndeplinit regula o dată, pe proză de pe Wikimedia și pe texte de la două modele AI. Asta descrie cum se comportă pe acest tip de material. Nu garantează acuratețea pe alte texte și nu oferă o probabilitate calibrată a autorului.

Detectoarele pentru engleză și ucraineană sunt în funcțiune de cel mai mult timp. Clasificatorul ucrainean a fost testat pe 200 de texte umane și 198 de texte AI din 200 de grupuri de surse, iar modelul englezesc pe un set mic, păstrat deoparte, de 80 de texte umane și 20 de texte AI. Și scorurile lor sunt semnale necalibrate.

Ce nu acoperă testele

• Alte genuri. Pe un set mic de texte AI de alte tipuri, cum ar fi anunțuri, reclamații și instrucțiuni, detectoarele pentru franceză, vietnameză, turcă și indoneziană au scăpat majoritatea textelor, iar cele pentru suedeză și neerlandeză cam jumătate. Portugheza, araba, poloneza, germana, italiana, norvegiana (bokmål) și daneza nu au fost verificate pe alte genuri.
• Textele scurte. Fragmentele de antrenare au cel puțin 80 de cuvinte. Sub 50 de cuvinte Textumi nu dă nicio etichetă, iar un rezultat pentru un text puțin peste această limită rămâne mai puțin fiabil în orice limbă.
• Autorul mixt și textele editate. Corpusul conține texte în întregime umane și texte în întregime AI, așa că o ciornă AI editată sau un text uman șlefuit cu grijă iese din ce a fost testat.
• Alte modele AI. Textele AI din corpus provin de la două modele, iar textele oricărui alt generator nu au făcut parte din test.
• Engleza la scară mare. Modelul englezesc a fost verificat pe un set mult mai mic decât detectoarele celorlalte limbi.

De ce sunt marcate textele scrise de oameniFiecare limbă și starea ei

Cum se schimbă versiunile

Fiecare clasificator are un număr de versiune. O versiune nouă înseamnă o nouă împărțire a corpusului și un nou test sigilat, iar orice schimbare a unui prag cere propria validare și o înregistrare de versiune.

Textumi lucrează în continuare la calitatea detectorului, iar fiecare versiune nouă trece prin aceeași regulă. O versiune este judecată doar pe surse pe care nu le-a văzut niciodată, iar fiecare lansare este o decizie separată. Când metoda se schimbă, se schimbă și pagina aceasta, odată cu data ei.