Come è costruito e testato il rilevatore di IA di Textumi

Un classificatore per ogni lingua

L’ucraino e le diciotto lingue aggiunte in seguito condividono un unico encoder multilingue, cioè un modello che trasforma il testo in numeri. L’encoder è congelato, quindi i suoi pesi non cambiano mai. Sopra c’è un piccolo classificatore addestrato per una sola lingua.

Un testo lungo viene letto a finestre consecutive, e i risultati si combinano in un unico punteggio per tutto il testo. Fino a tre paragrafi di almeno 50 parole ricevono anche un punteggio proprio, e sono quelli i passaggi che il rilevatore evidenzia.

L’inglese ha un modello separato e più vecchio: un proprio encoder inglese congelato, classificatori che Textumi ha addestrato sopra di esso e un secondo modello il cui segnale si combina con il loro secondo una regola fissa.

Un testo riceve sempre il punteggio dal classificatore della sua lingua. Una lingua senza un classificatore approvato riceve un messaggio di errore, mai un punteggio preso in prestito da un’altra lingua.

Da dove vengono i testi di addestramento

I testi umani delle diciotto lingue provengono dai progetti Wikimedia: notizie di Wikinotizie, voci di Wikipedia e pagine di discussione di Wikipedia. Hindi, indonesiano, vietnamita, ebraico e danese non hanno Wikinotizie, quindi al suo posto ci sono i manuali di Wikibooks.

Ogni testo è un intero paragrafo di prosa da 80 a 280 parole, preso dall’ultima revisione della sua pagina anteriore al 2020. La data è la prova che l’ha scritto una persona. Nessun testo viene etichettato come umano perché lo ha detto un altro rilevatore.

Gli abbozzi generati da programmi e gli avvisi ripetuti da una pagina all’altra vengono filtrati. I filtri li riducono, ma non possono intercettarli proprio tutti.

Ogni testo umano ha una controparte IA sullo stesso argomento, dello stesso genere e lingua e di lunghezza simile. Le controparti le hanno scritte due modelli di IA molto diffusi di fornitori diversi, ciascuno per metà delle fonti. Le risposte troncate, quelle che copiavano la fonte e quelle che non erano prosa semplice sono state scartate.

Il corpus ucraino è più vecchio: contiene testi storici di Wikimedia e testi IA di un solo modello. Per addestrare i rilevatori non si usa nessun testo dei clienti.

Un test sigillato, aperto una volta per versione

I testi sono raggruppati per fonte, così i capitoli di un manuale o gli archivi di una pagina di discussione restano insieme. I gruppi vengono divisi una volta sola in tre parti: addestramento, calibrazione e test. Un testo umano e la sua controparte IA finiscono sempre nella stessa parte.

Il test contiene circa 200 gruppi di fonti. Resta sigillato mentre si sceglie il classificatore e se ne fissa la soglia, e poi viene aperto una volta.

Se la versione non lo supera, quel test non si usa più. I suoi testi diventano dati di addestramento, e la versione successiva viene testata su nuovi gruppi di fonti che nessuna versione precedente ha visto. Così evitiamo di ritoccare un classificatore finché non si adatta per caso al proprio esame.

Come si fissano la soglia e le etichette del risultato

Per le diciotto lingue la soglia si trova dove vengono segnalati al massimo 2 testi umani su 100. Il conteggio si fa su testi umani da cui il classificatore non ha imparato, che nelle prime versioni erano la parte di calibrazione.

Le versioni create dopo il 12 ottobre 2026 lo calcolano su tutti i testi esterni al test, ciascuno valutato da un classificatore che non ha mai visto il suo gruppo di fonti. La soglia viene congelata prima che il test sia aperto.

Questa regola mantiene volutamente rari i falsi allarmi e accetta che sfuggano più testi IA. Non trasforma il punteggio in una probabilità.

La soglia di ogni classificatore è posta a 0,5 sulla scala del modello da 0 a 1. Quel punto è la soglia di segnale. Su textumi.com il punteggio viene mostrato senza numero: una lancetta su un indicatore da «Umano» a «IA» e una di cinque etichette.

Un testo sotto le 50 parole non riceve etichette: Textumi mostra invece «Troppo poco testo per giudicare». Ogni etichetta è una stima basata sullo stile del testo, non una quota misurata di testo IA né una prova di paternità. Un assistente IA collegato tramite MCP riceve il punteggio vero e proprio come numero.

L’asticella che una versione deve superare prima del rilascio

Una versione per una delle diciotto lingue viene offerta solo se il suo test contiene almeno 150 testi umani e 150 testi IA e se su quel test valgono tutte e tre queste condizioni:

• non più del 5% dei testi umani viene segnalato, così i falsi allarmi restano pochi;
• almeno il 60% dei testi IA viene individuato sull’intero test;
• almeno il 50% dei testi IA viene individuato in ogni ambito del corpus: notizie o manuali, voci enciclopediche e discussioni.

Prima dell’approvazione, il classificatore esportato viene caricato dallo stesso codice che gestisce le richieste, e i suoi punteggi vengono confrontati con quelli prodotti in addestramento.

Una lingua la cui versione non supera l’asticella non viene offerta. Il ceco non l’ha superata, quindi Textumi non supporta il ceco.

L’olandese è l’unica eccezione. La sua versione attuale è rimasta appena sotto: ha individuato il 59,8% dei testi IA dove ne è richiesto il 60%, e il 49,4% nelle voci enciclopediche dove è richiesto il 50%. Textumi ha deciso di offrirla comunque e ha lasciato invariata la regola.

Cosa ti dice una versione rilasciata

Una versione rilasciata ha rispettato la regola una volta, su prosa di Wikimedia e su testi di due modelli di IA. Questo descrive come si comporta su quel tipo di materiale. Non garantisce l’accuratezza su altri testi e non fornisce una probabilità calibrata di paternità.

I rilevatori per l’inglese e l’ucraino sono in servizio da più tempo. Il classificatore ucraino è stato testato su 200 testi umani e 198 testi IA provenienti da 200 gruppi di fonti, il modello inglese su un piccolo insieme tenuto da parte di 80 testi umani e 20 testi IA. Anche i loro punteggi sono segnali non calibrati.

Cosa i test non coprono

• Altri generi. Su un piccolo insieme di testi IA di altro tipo, come avvisi, reclami e istruzioni, i rilevatori per francese, vietnamita, turco e indonesiano se ne sono lasciati sfuggire la maggior parte, quelli per svedese e olandese circa la metà. Portoghese, arabo, polacco, tedesco, italiano, norvegese bokmål e danese non sono stati verificati su altri generi.
• Testi brevi. Gli estratti di addestramento hanno almeno 80 parole. Sotto le 50 parole Textumi non dà etichette, e un risultato su un testo di poco superiore resta comunque meno affidabile in ogni lingua.
• Paternità mista e testi rimaneggiati. Il corpus contiene testi interamente umani e interamente IA, quindi una bozza IA corretta o un testo umano rifinito con cura restano fuori da ciò che è stato testato.
• Altri modelli di IA. I testi IA del corpus vengono da due modelli, e i testi di qualsiasi altro generatore non facevano parte del test.
• L’inglese su larga scala. Il modello inglese è stato verificato su un insieme molto più piccolo rispetto ai rilevatori delle altre lingue.

Perché vengono segnalati testi scritti da personeOgni lingua e il suo stato

Come cambiano le versioni

Ogni classificatore ha un numero di versione. Una nuova versione comporta una nuova suddivisione del corpus e un nuovo test sigillato, e ogni modifica a una soglia richiede una propria validazione e una registrazione della versione.

Textumi continua a lavorare sulla qualità del rilevatore, e ogni nuova versione passa per la stessa regola. Una versione viene giudicata solo su fonti che non ha mai visto, e ogni rilascio è una decisione a sé. Quando il metodo cambia, cambiano anche questa pagina e la sua data.