Due tipi di errore
Un rilevatore può sbagliare in due direzioni. Può segnalare un testo scritto da una persona, ed è un falso positivo, oppure può lasciar passare un testo dell’IA, ed è un testo mancato.
I due errori si contrappongono. Ogni rilevatore confronta un punteggio con una soglia: se la abbassi intercetta più testi dell’IA ma segnala più persone; se la alzi segnala meno persone ma lascia passare più testi dell’IA. Nessuna impostazione elimina entrambi.
La prima domanda da fare su qualsiasi rilevatore, quindi, non è quanto sia accurato, ma quale errore cerca di evitare. Quando si decide su delle persone, di solito il falso positivo è il più dannoso.
Ci si sono scontrate anche grandi aziende. Nel 2023 OpenAI ha ritirato il proprio classificatore di testi IA, citandone la scarsa accuratezza.
Perché le promesse di accuratezza al 99% ingannano
Un singolo dato di accuratezza nasconde più di quanto mostri. Mescola i due tipi di errore in un unico numero e descrive un solo insieme di test, scelto da chi ha condotto il test.
È proprio quell’insieme di test a contare di più. Un rilevatore misurato su risposte grezze di chatbot in inglese, mai rivedute, sembrerà molto migliore dello stesso rilevatore su testi brevi, rivisti o tradotti in un’altra lingua.
Anche tassi di errore piccoli si sommano. Supponiamo che un rilevatore segnali per errore 1 testo umano su 100. In un corso con 300 saggi onesti, sono circa tre studenti segnalati per un lavoro che hanno scritto da soli.
Quando leggi una promessa di accuratezza, cerca che cosa c’è dietro: quali lingue e generi sono stati testati, quanto erano lunghi i testi, se erano stati rivisti, chi ha scelto i testi umani e quanti testi umani sono stati segnalati. Una promessa senza questi dettagli ti dice ben poco.
Dove i rilevatori faticano
I rilevatori vanno peggio proprio sui testi che più spesso si ha bisogno di controllare:
- Testi brevi. Poche frasi contengono troppo poco materiale, ed è per questo che Textumi mostra «Troppo poco testo per giudicare» per qualsiasi testo sotto le 50 parole.
- Testi rivisti, parafrasati o tradotti. Ogni modifica allontana la formulazione da ciò che il rilevatore ha imparato, in entrambe le direzioni.
- Scrittura formale e molto codificata, come abstract, lettere di presentazione e lettere ufficiali, che segue modelli che un rilevatore può leggere come meccanici.
- Testi scritti in una seconda lingua. Nel 2023 alcuni ricercatori di Stanford hanno riferito che i rilevatori segnalavano più spesso i saggi di chi non è madrelingua inglese.
- Lingue e generi che il rilevatore ha visto poco durante l’addestramento.
L’ultimo punto vale anche per Textumi. I nostri rilevatori per le lingue diverse dall’inglese e dall’ucraino sono stati addestrati e testati sulla prosa di Wikimedia. Su un piccolo campione di testi dell’IA di altro tipo, come avvisi, reclami e istruzioni, i rilevatori per francese, vietnamita, turco e indonesiano non ne hanno riconosciuto la maggior parte, mentre quelli per svedese e olandese se ne sono lasciati sfuggire circa la metà.
Perché vengono segnalati testi scritti da personeCome funzionano i rilevatori di IA
Come testare tu stesso un rilevatore
Il test più equo è quello che fai su testi simili ai tuoi. Richiede un’ora e ti dice più di qualsiasi dato pubblicato.
- Raccogli dieci o più testi che sai per certo scritti da una persona, nella tua lingua e nel tuo genere, meglio se scritti prima che gli assistenti IA si diffondessero.
- Scrivi o genera lo stesso numero di testi dell’IA su argomenti simili e di lunghezza simile, e rivedine alcuni come farebbe davvero una persona.
- Controlla ogni testo con ciascun rilevatore che stai confrontando e annota il risultato, senza cambiare nulla nel frattempo.
- Conta separatamente quanti testi umani sono stati segnalati e quanti testi dell’IA sono sfuggiti, e guarda quali passaggi ha evidenziato ciascun rilevatore.
Se un rilevatore segnala diversi testi che sai essere umani, considera con grande cautela i suoi risultati su quel tipo di scrittura, qualunque cosa dica il suo marketing.
Come Textumi testa il proprio rilevatore
Non pubblichiamo un unico dato di accuratezza per Textumi, perché non ne esiste uno onesto per ogni lingua e ogni tipo di testo. Pubblichiamo invece la regola che ogni versione del rilevatore deve rispettare.
Per le lingue diverse dall’inglese e dall’ucraino, la soglia è fissata nel punto in cui vengono segnalati al massimo 2 testi umani su 100 tra quelli da cui il classificatore non ha imparato. In questo modo i falsi allarmi restano rari, accettando che più testi dell’IA sfuggano.
Ogni versione viene testata una sola volta su un insieme sigillato di testi che non ha mai visto, con condizioni su entrambi i tipi di errore. Ogni test fallito viene scartato. La pagina sulla metodologia descrive nel dettaglio la regola, l’unica lingua che Textumi offre per propria decisione benché il suo test sia rimasto appena sotto la soglia, e ciò che i test non coprono.
Qualunque sia la regola, un risultato è una stima basata sullo stile del testo. Non è una probabilità né una prova di chi l’ha scritto.
Domande frequenti
I rilevatori di IA sono accurati?
Possono essere utili, ma nessuno è accurato in modo affidabile su ogni testo. Tutti i rilevatori segnalano una parte dei testi umani e lasciano passare una parte dei testi dell’IA, in misura variabile, a seconda della lingua, del genere, della lunghezza e delle revisioni del testo. Qualsiasi risultato va considerato un segnale che richiede un contesto, non una prova di paternità.
Un rilevatore di IA può essere accurato al 99%?
Un rilevatore può ottenere un punteggio molto alto su un certo insieme di testi, ma quel punteggio dice qualcosa solo su quei testi, spesso lunghi e mai rivisti, e mescola due tipi di errore in un unico numero. Lo stesso rilevatore può andare molto peggio su testi brevi, rivisti, tradotti o formali. Quindi informati sempre su che cosa è stato misurato quel punteggio.
Qual è il rilevatore di IA più accurato?
Non esiste una risposta unica e onesta. Le aziende fanno i test sui propri testi, e i numeri non sono confrontabili. Il rilevatore migliore per te è quello che segnala il minor numero dei tuoi testi che sai essere umani, continuando a segnalare i testi generati dall’IA del tuo tipo, quindi prova alcuni rilevatori sui tuoi testi.
Qual è l’accuratezza di Textumi?
Non pubblichiamo un unico dato, perché non sarebbe vero per ogni lingua e ogni genere. Pubblichiamo invece il metodo: per le lingue diverse dall’inglese e dall’ucraino, la soglia ammette al massimo 2 testi umani segnalati su 100 tra i testi da cui il modello non ha imparato, e ogni versione deve rispettare delle condizioni in un test sigillato. I dettagli sono nella pagina sulla metodologia.
Perché due rilevatori danno risultati diversi per lo stesso testo?
Sono stati addestrati su esempi diversi e fissano le soglie in punti diversi. Un testo vicino al confine può cadere da una parte o dall’altra, e un rilevatore può reagire a una formulazione che un altro ignora. Per questo un singolo risultato, di qualsiasi rilevatore, dice meno di quanto si pensi spesso.
Il risultato di un rilevatore dovrebbe decidere un voto o un’assunzione?
No. Un risultato è un segnale statistico sulla formulazione e non dovrebbe mai essere l’unica base per una decisione su una persona. Bozze, cronologia delle versioni, fonti e un colloquio sul lavoro mostrano la paternità molto meglio, e tutelano le persone la cui scrittura onesta capita di sembrare prevedibile.