Deux types d’erreurs
Un détecteur peut se tromper dans deux sens. Il peut signaler un texte écrit par une personne, c’est un faux positif, ou laisser passer un texte d’IA, c’est un texte manqué.
Les deux erreurs tirent en sens inverse. Tout détecteur compare un score à un seuil : abaissez le seuil, il repère plus de textes d’IA mais signale plus de personnes ; relevez-le, il signale moins de personnes mais manque plus de textes d’IA. Aucun réglage ne supprime les deux.
La première question à poser sur un détecteur n’est donc pas sa précision, mais l’erreur qu’il cherche à éviter. Quand la décision concerne des personnes, le faux positif est généralement le plus dommageable.
Les grandes entreprises se heurtent au même mur. En 2023, OpenAI a retiré son propre classificateur de textes d’IA en invoquant sa faible précision.
Pourquoi les promesses de 99 % de précision trompent
Un taux de précision unique cache plus qu’il ne montre. Il mélange les deux types d’erreurs en un seul chiffre, et il décrit un seul jeu de test, choisi par celui qui a mené l’essai.
C’est ce jeu de test qui compte le plus. Un détecteur mesuré sur des réponses brutes de chatbot en anglais paraîtra bien meilleur que le même détecteur sur des textes courts, retouchés ou traduits dans une autre langue.
Les petits taux d’erreur s’additionnent aussi. Supposons qu’un détecteur signale à tort 1 texte humain sur 100. Dans un cours de 300 dissertations honnêtes, cela fait environ trois étudiants signalés pour un travail qu’ils ont écrit eux-mêmes.
Face à un taux de précision, cherchez ce qui se cache derrière. Quelles langues et quels genres ont été testés ? Quelle était la longueur des textes ? Étaient-ils retouchés ? Qui a choisi les textes humains, et combien de textes humains ont été signalés ? Sans ces détails, une affirmation ne vous apprend presque rien.
Là où les détecteurs peinent
Les détecteurs sont les moins bons sur les textes qu’on a le plus souvent besoin de vérifier :
- Les textes courts. Quelques phrases apportent trop peu d’indices, c’est pourquoi Textumi affiche « Trop peu de texte pour conclure » pour tout texte de moins de 50 mots.
- Les textes retouchés, reformulés ou traduits. Chaque modification éloigne la formulation de ce que le détecteur a appris, dans un sens comme dans l’autre.
- Les écrits formels et codifiés, comme les résumés, les lettres de motivation et les courriers administratifs, qui suivent des modèles qu’un détecteur peut prendre pour une écriture de machine.
- Les textes écrits dans une langue étrangère. Des chercheurs de Stanford ont rapporté en 2023 que les détecteurs signalaient plus souvent les essais en anglais de personnes non natives.
- Les langues et les genres que le détecteur a peu vus pendant son entraînement.
Ce dernier point s’applique aussi à Textumi. Pour les langues autres que l’anglais et l’ukrainien, nos détecteurs ont été entraînés et testés sur de la prose issue des projets Wikimedia. Sur un petit échantillon de textes produits par IA relevant d’autres genres, comme des avis, des réclamations ou des modes d’emploi, les détecteurs en français, vietnamien, turc et indonésien en ont manqué la plupart, et ceux en suédois et en néerlandais environ la moitié.
Pourquoi les détecteurs signalent des textes humainsComment fonctionnent les détecteurs d’IA
Comment tester un détecteur vous-même
Le test le plus juste est celui que vous menez sur des textes semblables aux vôtres. Il prend une heure et vous en apprend plus que n’importe quel chiffre publié.
- Rassemblez au moins dix textes dont vous savez qu’une personne les a écrits, dans votre langue et votre genre, idéalement rédigés avant que les assistants IA se répandent.
- Écrivez ou générez autant de textes d’IA sur des sujets proches et de longueur comparable, et retouchez-en quelques-uns comme on le fait réellement.
- Vérifiez chaque texte avec chacun des détecteurs que vous comparez et notez le résultat, sans rien modifier entre-temps.
- Comptez séparément les textes humains signalés et les textes d’IA manqués, et regardez quels passages chaque détecteur a surlignés.
Si un détecteur signale plusieurs de vos textes humains connus, traitez ses résultats sur ce type d’écrit avec une grande prudence, quoi qu’en dise sa publicité.
Comment Textumi teste son propre détecteur
Nous ne publions pas de taux de précision unique pour Textumi, car aucun chiffre honnête ne vaut pour toutes les langues et tous les types de textes. Nous publions à la place la règle que chaque version du détecteur doit respecter.
Pour les langues autres que l’anglais et l’ukrainien, le seuil se situe là où 2 textes humains sur 100 au plus, parmi ceux dont le classificateur n’a pas appris, sont signalés. Les fausses alertes restent ainsi rares, au prix de davantage de textes d’IA manqués.
Ensuite, chaque version n’est testée qu’une seule fois, sur un ensemble scellé de textes qu’elle n’a jamais vus, et des conditions s’appliquent aux deux types d’erreurs. On ne réutilise jamais un test échoué. La page de méthodologie présente la règle, la seule langue que Textumi propose de sa propre initiative bien que son test soit resté juste en dessous du seuil, ainsi que ce que les tests ne couvrent pas.
Quelle que soit la règle, un résultat est une estimation fondée sur le style du texte. Ce n’est ni une probabilité ni une preuve de qui l’a écrit.
Questions fréquentes
Les détecteurs d’IA sont-ils fiables ?
Ces outils peuvent rendre service, mais aucun ne fournit des résultats fiables sur l’ensemble des textes. Une partie des textes rédigés par des humains se retrouve signalée par n’importe quel détecteur, et une partie des textes d’IA passe inaperçue. La fréquence de ces erreurs dépend de la langue, du genre, de la longueur et des retouches apportées au texte. Considérez chaque résultat comme un signal qui appelle une mise en contexte, et jamais comme une preuve de paternité.
Un détecteur d’IA peut-il être précis à 99 % ?
Sur un jeu de test donné, un détecteur peut obtenir un score très élevé. Ce chiffre ne décrit que ces textes, souvent longs et non retouchés, et il mélange deux erreurs différentes en un seul nombre. Sur des textes courts, retouchés, traduits ou formels, le même détecteur peut faire bien moins bien : demandez sur quoi le chiffre a été mesuré.
Quel est le détecteur d’IA le plus fiable ?
Une réponse unique et honnête n’existe pas. Chaque entreprise teste sur ses propres textes ; les résultats, eux, ne sont pas comparables. Celui qui vous convient le mieux, c’est le détecteur qui signale le moins de vos textes humains connus tout en repérant les textes d’IA de votre genre. Essayez-en quelques-uns sur vos propres documents.
Quelle est la précision de Textumi ?
Nous ne publions pas de chiffre unique, parce qu’il ne serait pas exact pour toutes les langues et tous les genres. Ce que nous publions, c’est la méthode. Pour les langues autres que l’anglais et l’ukrainien, le seuil autorise au plus 2 textes humains signalés sur 100, parmi des textes dont le modèle n’a pas appris. Par ailleurs, chaque version doit remplir des conditions sur un test scellé. On trouve les détails sur la page de méthodologie.
Pourquoi deux détecteurs donnent-ils des résultats différents pour le même texte ?
Ces détecteurs ont été entraînés sur des exemples différents, et chacun place son seuil à un autre endroit. Un texte proche de la limite peut tomber d’un côté ou de l’autre. Une tournure qui attire l’attention de l’un peut passer inaperçue chez l’autre. C’est pourquoi un résultat isolé, quel que soit le détecteur, en dit moins qu’on ne le croit souvent.
Le résultat d’un détecteur doit-il décider d’une note ou d’une embauche ?
Non. Un résultat constitue un signal statistique portant sur la formulation. Il ne devrait jamais servir de seul fondement à une décision concernant une personne. Pour déterminer qui est l’auteur, les brouillons, l’historique des versions, les sources et un échange sur le travail sont bien plus éclairants. Ils protègent aussi les personnes dont l’écriture honnête vient à paraître prévisible.