Comment le détecteur d’IA de Textumi est conçu et testé

Un classifieur pour chaque langue

L’ukrainien et les dix-huit langues ajoutées ensuite partagent un même encodeur multilingue, c’est-à-dire un modèle qui transforme le texte en nombres. Cet encodeur est figé : ses poids ne changent pas. Au-dessus se trouve un petit classifieur entraîné pour une seule langue.

Un texte long est lu par fenêtres successives, et les résultats sont réunis en un score pour l’ensemble du texte. Jusqu’à trois paragraphes d’au moins 50 mots sont aussi évalués séparément : ce sont les passages que le détecteur met en évidence.

L’anglais dispose d’un modèle plus ancien et distinct : son propre encodeur anglais figé, des classifieurs que Textumi a entraînés par-dessus et un second modèle dont le signal est combiné au leur selon une règle fixe.

Un texte est toujours évalué par le classifieur de sa propre langue. Une langue sans classifieur approuvé reçoit un message d’erreur, jamais un score emprunté à une autre langue.

D’où viennent les textes d’entraînement

Les textes humains des dix-huit langues proviennent des projets Wikimedia : actualités de Wikinews, articles de Wikipédia et pages de discussion de Wikipédia. Le hindi, l’indonésien, le vietnamien, l’hébreu et le danois n’ont pas de Wikinews ; des manuels de Wikilivres en tiennent lieu.

Chaque texte est un paragraphe de prose complet de 80 à 280 mots, tiré de la dernière version de sa page antérieure à 2020. C’est cette date qui atteste qu’une personne l’a écrit. Aucun texte n’est considéré comme humain parce qu’un autre détecteur l’a jugé ainsi.

Les ébauches générées par des programmes et les avis répétés d’une page à l’autre sont filtrés. Les filtres en réduisent le nombre, mais ne peuvent pas tous les écarter.

Chaque texte humain a un équivalent rédigé par une IA, sur le même sujet, dans le même genre et la même langue, et de longueur comparable. Deux modèles d’IA largement utilisés, de fournisseurs différents, ont rédigé ces équivalents, chacun pour la moitié des sources. Les réponses tronquées, recopiant leur source ou qui n’étaient pas de la prose simple ont été écartées.

Le corpus ukrainien est plus ancien : il réunit des textes historiques de Wikimedia et des textes d’un seul modèle d’IA. Aucun texte d’utilisateur ne sert à entraîner un détecteur.

Un test scellé, ouvert une fois par version

Les textes sont regroupés par source, pour que les chapitres d’un même manuel ou les archives d’une même page de discussion restent ensemble. Les groupes sont répartis une seule fois en trois parties : entraînement, calibrage et test. Un texte humain et son équivalent d’IA se retrouvent toujours dans la même partie.

Le test compte environ 200 groupes de sources. Il reste scellé pendant le choix du classifieur et le réglage de son seuil, puis il est ouvert une seule fois.

Si la version échoue, ce test n’est plus utilisé. Ses textes deviennent des données d’entraînement, et la version suivante est testée sur de nouveaux groupes de sources qu’aucune version précédente n’a vus. Ainsi, nous ne pouvons pas ajuster un classifieur jusqu’à ce qu’il réussisse par hasard son propre examen.

Comment sont fixés le seuil et les libellés du résultat

Pour les dix-huit langues, le seuil se situe là où au plus 2 textes humains sur 100 sont signalés. Ce taux se calcule sur des textes humains que le classifieur n’a pas appris, dans les premières versions sur la partie de calibrage.

Les versions créées après le 12 octobre 2026 le calculent sur tous les textes hors test, chacun étant évalué par un classifieur qui n’a jamais vu son groupe de sources. Le seuil est figé avant l’ouverture du test.

Cette règle rend délibérément les fausses alertes rares et accepte que davantage de textes d’IA passent inaperçus. Elle ne transforme pas le score en probabilité.

Le seuil de chaque classifieur est placé à 0,5 sur l’échelle du modèle, de 0 à 1 : c’est la ligne de signal. Sur textumi.com, le score s’affiche sans nombre : une aiguille sur une jauge allant de « Humain » à « IA » et l’un de cinq libellés.

Un texte de moins de 50 mots ne reçoit pas de libellé : Textumi affiche à la place « Trop peu de texte pour conclure ». Chaque libellé est une estimation fondée sur le style du texte, ni une part mesurée de texte d’IA ni une preuve de paternité. Un assistant d’IA connecté par MCP reçoit le score lui-même, sous forme de nombre.

La barre qu’une version doit franchir avant sa mise en service

Une version pour l’une des dix-huit langues n’est proposée que si son test contient au moins 150 textes humains et 150 textes d’IA et que les trois conditions suivantes sont remplies sur ce test :

• au plus 5 % des textes humains sont signalés, si bien que les fausses alertes restent rares ;
• au moins 60 % des textes d’IA sont détectés sur l’ensemble du test ;
• au moins 50 % des textes d’IA sont détectés dans chaque domaine du corpus : actualités ou manuels, articles encyclopédiques et discussions.

Avant validation, le classifieur exporté est chargé par le code même qui traite les requêtes, et ses scores sont comparés à ceux obtenus pendant l’entraînement.

Une langue dont la version ne franchit pas la barre n’est pas proposée. Le tchèque ne l’a pas franchie : Textumi ne prend donc pas en charge le tchèque.

Le néerlandais est la seule exception. Sa version actuelle est restée juste en dessous : elle a détecté 59,8 % des textes d’IA pour 60 % exigés, et 49,4 % dans les articles encyclopédiques pour 50 % exigés. Textumi a décidé de la proposer malgré tout et n’a pas modifié la règle.

Ce que dit une version mise en service

Une version mise en service a respecté la règle une fois, sur de la prose Wikimedia et des textes de deux modèles d’IA. Cela indique son comportement sur ce type de contenu. Ce n’est ni une garantie de précision sur d’autres textes ni une probabilité calibrée de paternité.

Les détecteurs anglais et ukrainien sont en service depuis le plus longtemps. Le classifieur ukrainien a été testé sur 200 textes humains et 198 textes d’IA issus de 200 groupes de sources, le modèle anglais sur un petit jeu réservé de 80 textes humains et 20 textes d’IA. Leurs scores sont eux aussi des signaux non calibrés.

Ce que les tests ne couvrent pas

• Les autres genres. Sur un petit ensemble de textes d’IA d’autres types, comme des avis, des réclamations ou des modes d’emploi, les détecteurs du français, du vietnamien, du turc et de l’indonésien en ont manqué la plupart, ceux du suédois et du néerlandais environ la moitié. Le portugais, l’arabe, le polonais, l’allemand, l’italien, le norvégien bokmål et le danois n’ont pas été vérifiés sur d’autres genres.
• Les textes courts. Les extraits d’entraînement comptent au moins 80 mots. Sous 50 mots, Textumi n’affiche pas de libellé, et un résultat sur un texte à peine plus long reste moins fiable dans toutes les langues.
• Les textes mixtes ou retravaillés. Le corpus contient des textes entièrement humains et entièrement générés ; un brouillon d’IA retouché ou un texte humain très peaufiné sort du périmètre testé.
• Les autres modèles d’IA. Les textes d’IA du corpus viennent de deux modèles, et les textes de tout autre générateur ne faisaient pas partie du test.
• L’anglais à grande échelle. Le modèle anglais a été vérifié sur un jeu bien plus petit que les détecteurs des autres langues.

Pourquoi des textes humains sont signalésLes langues et leur état

Comment les versions évoluent

Chaque classifieur a un numéro de version. Une nouvelle version implique un nouveau découpage du corpus et un nouveau test scellé, et toute modification d’un seuil exige sa propre validation et une fiche de version.

Textumi travaille en continu sur la qualité du détecteur, et chaque nouvelle version passe par la même règle. Une version n’est évaluée que sur des sources qu’elle n’a jamais vues, et chaque mise en service est une décision distincte. Quand la méthode change, cette page et sa date changent avec elle.