Comment fonctionne un détecteur d’IA, et où il échoue

Ce que mesure un détecteur d’IA

Un détecteur estime à quel point la formulation d’un texte ressemble aux textes d’IA sur lesquels il a été entraîné.

Les modèles de langage choisissent volontiers les mots les plus probables et construisent des phrases régulières et bien formées. Les humains sont moins prévisibles : ils se répètent, changent de rythme et choisissent des mots qu’aucun modèle n’attendrait. Le détecteur apprend cette différence statistique à partir d’un grand nombre d’exemples.

Deux approches sont courantes. La première consiste à demander à un autre modèle de langage à quel point chaque mot du texte est prévisible, et à juger suspect un texte trop prévisible. Cette mesure s’appelle la perplexité.

La seconde est un classificateur entraîné. Un encodeur transforme le texte en une série de nombres, et un classificateur entraîné sur des exemples humains et générés évalue ces nombres. C’est ainsi que fonctionne Textumi, avec ses propres modèles de détection, que nous entraînons, réglons et faisons tourner sur nos serveurs. Les deux approches ne s’appuient que sur le texte lui-même.

Le tatouage numérique est une autre idée : le modèle laisse dans son texte, au moment de l’écrire, une marque statistique que seul le détenteur de la clé peut vérifier. Cela ne fonctionne que pour les modèles qui ajoutent une telle marque, si bien qu’un détecteur censé lire n’importe quel texte ne peut pas s’y fier.

Un détecteur ne vérifie pas les faits, ne juge pas l’argumentation et ne cherche pas votre texte dans une archive de réponses de chatbots. Deux textes de même sens mais formulés différemment peuvent obtenir des résultats très différents.

Pourquoi le résultat est un signal et non un verdict

L’écriture humaine et celle de l’IA se recoupent. Certaines personnes écrivent de façon régulière et prévisible, et l’on peut demander à un modèle d’écrire de façon irrégulière.

Où que l’on place le seuil dans cette zone commune, des textes humains se retrouvent du côté de l’IA et des textes d’IA du côté humain. Déplacer le seuil revient seulement à échanger une erreur contre l’autre.

Le résultat lui-même se lit facilement de travers. Textumi le désigne par l’un de cinq libellés : « Écrit par un humain », « Majoritairement humain », « Mixte : humain et IA », « Majoritairement IA » et « Généré par l’IA ». Les deux premiers sont sous le seuil, les trois autres au-dessus. Un libellé décrit la façon dont se lit le style du texte entier, pas la probabilité qu’une IA soit l’autrice du texte ni la part de texte générée.

Si un autre détecteur affiche un pourcentage, c’est aussi l’estimation d’un modèle, à lire avec la même prudence.

Ces limites sont bien documentées. En 2023, OpenAI a retiré son propre classificateur de textes d’IA en raison de sa faible précision, et des chercheurs de Stanford ont rapporté la même année que les détecteurs signalaient plus souvent les essais en anglais de personnes non natives que ceux de locuteurs natifs.

Ce que la reformulation et la retouche font au résultat

Un détecteur juge le texte qu’il reçoit. Quand la formulation change, le résultat change aussi.

Quand une personne réécrit un texte généré phrase par phrase, il reste moins de régularités connues du détecteur. Quand un assistant d’IA peaufine le texte d’une personne, il en ajoute.

On obtient alors un texte mixte. Un détecteur entraîné sur des exemples entièrement humains et entièrement générés peut le classer d’un côté comme de l’autre.

Il en va de même des outils de reformulation, y compris notre Humanizer. Son but est une formulation naturelle qui conserve les faits et la logique de l’original, pas un score donné. Une réécriture est une nouvelle formulation, et le résultat du détecteur porte sur elle, pas sur l’origine du texte : un texte qu’un détecteur ne signale pas peut l’être par un autre.

Une correction grammaticale poussée et la traduction déplacent elles aussi les résultats, parfois vers l’IA.

Pourquoi les nouveaux modèles sont une cible mouvante

Un détecteur connaît les modèles dont les textes figuraient dans ses données d’entraînement, tels qu’ils écrivaient à l’époque. Les textes d’un modèle plus récent ou différent peuvent leur ressembler ou non, et seul un test permet de le savoir.

Les détecteurs de Textumi pour les langues autres que l’anglais et l’ukrainien ont été entraînés sur des textes de deux modèles d’IA très répandus. Les textes d’autres modèles sortent du cadre de ces tests, et c’est l’une des raisons pour lesquelles nous améliorons les détecteurs en continu et les publions par versions.

Pourquoi les langues autres que l’anglais sont plus difficiles

Un modèle entraîné sur des textes anglais ne fonctionne pas aussi bien dans d’autres langues par lui-même. Chaque langue a besoin de ses propres textes humains, de ses propres textes d’IA et de son propre test.

Le plus difficile est de réunir des textes dont on sait avec certitude qu’ils ont été écrits par des personnes. Les langues moins répandues en offrent moins, si bien qu’un jeu d’entraînement ne couvre souvent que quelques genres.

Textumi entraîne un classificateur distinct pour chaque langue. Les détecteurs anglais et ukrainien sont les plus éprouvés. Ceux des autres langues ont été entraînés et testés sur de la prose issue des projets Wikimedia et sur des textes de deux modèles d’IA.

Sur d’autres genres, certains de ces détecteurs laissent passer beaucoup de textes d’IA, notamment pour le français, le vietnamien, le turc, l’indonésien et le néerlandais. Un texte traduit est, dans toute langue, une source d’erreur supplémentaire.

Les langues et l’état de chacuneComment le détecteur d’IA de Textumi est conçu et testé

Comment lire un résultat de façon responsable

• Lisez les passages surlignés avant de regarder le libellé : ils montrent d’où vient le signal et vous permettent de juger ces lignes par vous-même.
• Tenez compte de la longueur. Sous 50 mots, Textumi affiche « Trop peu de texte pour conclure » au lieu d’un libellé, et les textes courts appellent la prudence avec n’importe quel détecteur.
• Tenez compte du genre et de la langue. Un signalement sur une lettre formelle, ou un résultat dans une langue testée sur un éventail de textes plus étroit, pèse moins que le même résultat sur un long essai en anglais.
• Considérez « Écrit par un humain » et « Majoritairement humain » comme des estimations. Ils signifient que le détecteur a trouvé peu d’indices d’IA, pas qu’une personne a écrit le texte à coup sûr.
• Réunissez d’autres éléments avant de décider quoi que ce soit : les brouillons, l’historique des versions et un échange avec l’auteur en disent plus sur la paternité du texte que n’importe quel détecteur.

Pourquoi des textes humains sont signalésUtilisation responsable