Pourquoi le détecteur d’IA a-t-il signalé mon texte ? Les faux positifs expliqués

Qu’est-ce qu’un faux positif

Un faux positif est un texte écrit par une personne qu’un détecteur classe comme généré par l’IA.

Le détecteur ne sait pas qui a écrit le texte. Il évalue la formulation, compare cette évaluation à un seuil et présente tout ce qui le dépasse comme un signal d’IA. Une partie des textes humains finit forcément au-dessus.

Aucun réglage n’y remédie. Un seuil plus haut signale moins de textes humains mais laisse passer davantage de textes d’IA, et un seuil plus bas fait l’inverse.

Les grands acteurs se heurtent au même mur. En 2023, OpenAI a retiré son propre classificateur de textes d’IA en invoquant sa faible précision.

Quels textes sont signalés plus souvent

Les faux positifs ne touchent pas tous les textes de la même façon. Les détecteurs se trompent surtout sur ceux-ci :

• Les textes écrits dans une langue étrangère. Des chercheurs de Stanford ont rapporté en 2023 que les détecteurs d’IA signalaient plus souvent les essais en anglais de personnes non natives que ceux de locuteurs natifs.
• Les textes formels et codifiés. Lettres de motivation, résumés d’articles, courriels professionnels et documents administratifs suivent des modèles établis, et les tournures prévisibles sont précisément ce à quoi réagit un détecteur.
• Les textes courts. Quelques phrases ne suffisent pas pour juger, c’est pourquoi Textumi n’affiche pas de libellé sous 50 mots, et un résultat sur un texte à peine plus long reste moins fiable.
• Les textes très retravaillés. Correcteurs grammaticaux, traduction et relectures successives gomment les petites irrégularités qui trahissent un vrai brouillon.

Inutile d’écrire moins bien pour paraître humain. Mais toute personne qui lit le résultat d’un détecteur doit savoir qu’un signalement sur ce type de texte pèse moins lourd.

Ce que le résultat d’un détecteur ne prouve pas

Un détecteur ne voit que le texte fini. Il ne voit ni vos notes, ni vos sources, ni les heures passées, ni les versions précédentes du fichier. Il ne distingue pas une autrice soigneuse d’un modèle qui imite une écriture soignée.

Le résultat d’un détecteur n’est pas une probabilité. Textumi le désigne par l’un de cinq libellés, de « Écrit par un humain » à « Généré par l’IA ». Même « Généré par l’IA » ne veut pas dire que le texte a presque certainement été écrit par une IA, et « Majoritairement IA » ne veut pas dire qu’un modèle a rédigé la plupart des phrases. Un libellé indique seulement que la formulation ressemble beaucoup à ce que le détecteur a appris à associer à l’IA.

Si un autre détecteur affiche un pourcentage, lisez-le avec la même prudence. C’est lui aussi le score d’un modèle, pas la part du texte qui a été générée.

Deux détecteurs peuvent juger le même texte différemment. Ils ont été entraînés sur des exemples différents et chacun place son seuil ailleurs.

Que faire si l’on vous accuse d’avoir utilisé l’IA

Le résultat d’un détecteur, à lui seul, est une preuve fragile. Ce qui montre comment le texte a été écrit pèse bien davantage. Suivez ces étapes dans l’ordre.

1. Demandez quel détecteur a été utilisé, ce qu’il a indiqué exactement et quel résultat les personnes qui évaluent votre travail considèrent comme un motif de soupçon.
2. Rassemblez vos brouillons, plans, notes et sources, y compris les versions de travail que vous ne montrez d’habitude à personne.
3. Ouvrez l’historique des versions du document. Google Docs et Microsoft Word peuvent garder la trace de l’évolution d’un texte, et une série de petites modifications sur plusieurs jours est difficile à contester.
4. Proposez d’échanger sur votre travail. En expliquant vos arguments, vos sources et vos choix, vous montrez que vous en êtes l’auteur mieux qu’aucun détecteur ne le pourrait.
5. Demandez le règlement écrit sur l’usage de l’IA et sur les résultats des détecteurs, et demandez que la décision ne repose pas sur ce seul résultat.

À l’avenir, écrivez dans un éditeur qui conserve l’historique des versions et gardez vos notes. Cela ne coûte rien pendant le travail, alors que ces preuves sont difficiles à reconstituer après coup.

Comment Textumi fixe son seuil

Le détecteur de Textumi est notre propre développement : nous entraînons et réglons nous-mêmes ses modèles, les faisons tourner sur nos propres serveurs et les améliorons en continu. Son seuil, à partir duquel il indique un signal d’IA, est placé délibérément de façon à signaler le moins possible de textes humains, quitte à laisser passer une partie des textes d’IA.

Pour toutes les langues autres que l’anglais et l’ukrainien, le seuil se situe là où deux textes humains sur cent au plus sont signalés. Ce taux est mesuré sur des textes humains dont le modèle n’a pas appris.

Le seuil de l’ukrainien a été fixé selon une version antérieure de la même règle. Le détecteur anglais est un modèle plus ancien, doté de son propre seuil fixe.

Il s’agit de choisir quelle erreur éviter, pas de promettre une précision sur votre texte. Les mesures portent sur un seul type d’écrit, la prose des projets Wikimedia : sur une lettre de motivation ou un courriel bref, la part de textes humains signalés peut être plus élevée.

Un second garde-fou s’y ajoute. Une nouvelle version du détecteur pour l’une de ces langues n’est pas mise en service si elle signale plus de cinq textes humains sur cent dans des textes de test qu’elle n’a jamais vus.

Sous le seuil, le résultat est « Écrit par un humain » ou « Majoritairement humain ». Ces libellés sont eux aussi des estimations fondées sur le style : Textumi ne peut pas montrer qu’une personne a écrit un texte à coup sûr, car un modèle ne voit pas comment il a été produit.

Comment le détecteur d’IA de Textumi est conçu et testé

Lire un résultat signalé dans Textumi

Commencez par les passages surlignés, pas par le libellé sous l’aiguille. Si le signal vient d’un seul paragraphe formel dans un essai personnel, il vous apprend quelque chose sur ce paragraphe, pas sur vous.

Pour un texte de moins de 50 mots, Textumi n’affiche pas de libellé, seulement « Trop peu de texte pour conclure », car un jugement sur si peu de texte n’est pas fiable. Vérifiez un passage plus long du même document : à partir de 50 mots, l’estimation est plus fiable.

Si un passage signalé sonne vraiment raide, retravaillez-le vous-même ou demandez au Humanizer une version plus naturelle qui garde le sens. La formulation change, pas l’histoire du texte, et un autre détecteur peut toujours le signaler.

Ouvrir le détecteur d’IA