Che cos’è un falso positivo
Un falso positivo è un testo scritto da una persona che un rilevatore indica come generato dall’IA.
Il rilevatore non sa chi ha scritto il testo. Assegna un punteggio alla formulazione, lo confronta con una soglia e segnala come IA tutto ciò che sta sopra. Inevitabilmente, una parte dei testi umani finisce sopra la soglia.
Nessuna impostazione risolve il problema. Una soglia più alta segnala meno testi umani ma lascia sfuggire più testi IA, e una più bassa fa l’opposto.
Anche le grandi aziende sbattono contro lo stesso muro. Nel 2023 OpenAI ha ritirato il proprio classificatore di testi IA, citandone la scarsa accuratezza.
Quali testi vengono segnalati più spesso
I falsi positivi non colpiscono tutti i tipi di testo allo stesso modo. I rilevatori sbagliano più spesso in questi casi:
- Testi scritti in una seconda lingua. Nel 2023 alcuni ricercatori di Stanford hanno riferito che i rilevatori di IA segnalavano i saggi di chi scrive in inglese come lingua straniera più spesso di quelli dei madrelingua.
- Testi formali e stereotipati. Lettere di presentazione, abstract, email di lavoro e documenti ufficiali seguono schemi fissi, e una formulazione prevedibile è esattamente ciò a cui un rilevatore reagisce.
- Testi brevi. Poche frasi offrono troppo poco da valutare, ed è per questo che Textumi non mostra etichette sotto le 50 parole; anche un risultato su un testo di poco più lungo resta meno affidabile.
- Testi molto rifiniti. Correttori grammaticali, traduzioni e molti giri di revisione levigano le piccole irregolarità di una bozza vera.
Non devi scrivere peggio per sembrare umano. Ma chiunque legga il risultato di un rilevatore dovrebbe sapere che una segnalazione su questi tipi di testo pesa meno.
Cosa non dimostra il risultato di un rilevatore
Un rilevatore vede solo il testo finito. Non vede i tuoi appunti, le tue fonti, le ore di lavoro né le versioni precedenti del file. Non sa distinguere chi scrive con cura da un modello che imita una scrittura accurata.
Il risultato di un rilevatore non è una probabilità. Textumi lo riassume con una di cinque etichette, da «Scritto da una persona» a «Generato dall’IA». Nemmeno «Generato dall’IA» significa che il testo sia stato quasi certamente scritto dall’IA, e «Prevalentemente IA» non significa che un modello abbia scritto la maggior parte delle frasi. Un’etichetta dice solo che la formulazione somiglia molto a ciò che il rilevatore ha imparato ad associare all’IA.
Se un altro rilevatore mostra una percentuale, leggila con la stessa cautela. Anche quella è il punteggio di un modello, non la quota di testo che è stata generata.
Due rilevatori possono giudicare lo stesso testo in modo diverso. Sono stati addestrati su esempi diversi, e ognuno fissa la propria soglia in un punto diverso.
Cosa fare se ti accusano di aver usato l’IA
Il risultato di un rilevatore, da solo, è una prova debole. La documentazione di come è nato il testo è molto più solida. Segui questi passaggi nell’ordine.
- Chiedi quale rilevatore è stato usato, cosa ha mostrato esattamente e quale risultato chi giudica il tuo lavoro considera motivo di sospetto.
- Raccogli bozze, scalette, appunti e fonti, comprese le versioni grezze che di solito non mostreresti a nessuno.
- Apri la cronologia delle versioni del documento. Google Docs e Microsoft Word possono registrare come un testo è cambiato nel tempo, e una traccia di piccole modifiche distribuite su più giorni è difficile da contestare.
- Offriti di discutere il lavoro. Spiegare il tuo ragionamento, le tue fonti e le tue scelte dimostra la paternità come nessun rilevatore può fare.
- Chiedi la regola scritta sull’uso dell’IA e sui risultati dei rilevatori, e chiedi che la decisione non si basi solo sul risultato di un rilevatore.
Per i lavori futuri, scrivi in un editor che conserva la cronologia delle versioni e tieni i tuoi appunti. Mentre lavori non ti costa nulla, mentre dopo le prove sono difficili da ricostruire.
Come Textumi fissa la sua soglia
Il rilevatore di Textumi è uno sviluppo nostro: addestriamo e mettiamo a punto noi i suoi modelli, li facciamo girare sui nostri server e continuiamo a migliorarli. La sua soglia, cioè il limite oltre il quale segnala l’IA, è posta di proposito in modo da segnalare il minor numero possibile di testi umani, anche se così qualche testo IA passa inosservato.
Per ogni lingua diversa da inglese e ucraino, la soglia si trova dove vengono segnalati non più di due testi umani su cento. Lo contiamo su testi umani da cui il modello non ha imparato.
La soglia ucraina è stata fissata con una versione precedente della stessa regola. Il rilevatore inglese è un modello più vecchio con una propria soglia fissa.
È una scelta su quale errore evitare, non una promessa di accuratezza sul tuo testo. I conteggi vengono da un solo tipo di scrittura, la prosa dei progetti Wikimedia, quindi su una lettera di presentazione o una breve email la quota di testi umani segnalati può essere più alta.
C’è una seconda garanzia. Una nuova versione del rilevatore per una qualsiasi di queste lingue non viene rilasciata se segnala più di cinque testi umani su cento in testi di prova che non ha mai visto.
Sotto la soglia il risultato è «Scritto da una persona» o «Prevalentemente umano». Anche queste etichette sono stime basate sullo stile: Textumi non può dimostrare che un testo l’abbia scritto di sicuro una persona, perché un modello non vede come è stato prodotto.
Come leggere un risultato segnalato in Textumi
Parti dai passaggi evidenziati, non dall’etichetta sotto la lancetta. Se il segnale viene da un solo paragrafo formale in un saggio personale, ti dice qualcosa di quel paragrafo, non di te.
Per un testo sotto le 50 parole Textumi non mostra etichette, solo «Troppo poco testo per giudicare», perché un giudizio su così poco testo non è affidabile. Controlla un passaggio più lungo dello stesso documento: dalle 50 parole in su la stima è più affidabile.
Se un passaggio segnalato suona davvero rigido, rivedilo tu oppure chiedi all’Humanizer una versione più naturale che ne conservi il significato. Così cambi la formulazione, non la storia del testo, e un altro rilevatore potrebbe comunque segnalarlo.
Domande frequenti
Un rilevatore di IA può sbagliare?
Sì. Ogni rilevatore di IA a volte segnala testi umani e lascia sfuggire testi IA, perché giudica solo la formulazione e non può vedere come è nato un testo. Textumi lo dice accanto ai suoi risultati: la sua etichetta è una stima basata sullo stile del testo, non un verdetto su chi l’ha scritto.
Perché un testo scritto da me è stato segnalato come IA?
Il più delle volte perché è breve, formale, scritto in una seconda lingua o corretto molte volte. Testi del genere usano formulazioni prevedibili, e le formulazioni prevedibili sono ciò che i rilevatori associano all’IA. La segnalazione descrive le parole sulla pagina e non dice nulla di certo su come hai lavorato.
Il risultato di un rilevatore può dimostrare che ho usato l’IA?
No. Il risultato di un rilevatore è un segnale statistico, non una prova di ciò che hai fatto. Non dovrebbe mai essere l’unica base per una decisione su un voto, un lavoro o una pubblicazione. Bozze, cronologia delle versioni e una conversazione sul lavoro dicono molto di più sulla paternità.
Correttori grammaticali e strumenti di traduzione causano falsi positivi?
Possono farlo. Correzioni pesanti e traduzioni sostituiscono le formulazioni personali e irregolari con un linguaggio più levigato e standard, e i testi tradotti o molto rimaneggiati sono tra quelli che i rilevatori giudicano male più spesso. Se hai usato strumenti del genere, dillo apertamente e conserva la versione che avevi scritto prima.
Come posso dimostrare di aver scritto un testo da solo?
Mostra come hai lavorato. La cronologia delle versioni in Google Docs o Microsoft Word, le prime bozze, le scalette e gli appunti registrano come si è sviluppato il testo. Poi offriti di discutere il tuo ragionamento e le tue fonti. Il risultato di un ennesimo rilevatore aggiunge poco, perché i rilevatori spesso non sono d’accordo tra loro.
Qual è il tasso di falsi positivi di Textumi?
Non pubblichiamo un unico tasso, perché dipende dalla lingua, dal genere e dalla lunghezza del testo. Possiamo indicare la regola: per ogni lingua diversa da inglese e ucraino, la soglia si trova dove vengono segnalati non più di due testi umani su cento tra quelli da cui il modello non ha imparato. Sul tipo di testi che scrivi tu la quota può essere diversa.
I docenti dovrebbero basarsi sul risultato di un rilevatore di IA?
Non da solo. Un risultato può avviare una conversazione e indicare passaggi da discutere, ma non può stabilire che uno studente abbia usato l’IA. Gli studenti che scrivono in una seconda lingua o in uno stile formale vengono segnalati più spesso, quindi una decisione basata solo sul risultato sarebbe ingiusta nei loro confronti.