Så byggs och testas Textumis AI-detektor

En klassificerare för varje språk

Ukrainska och de arton språk som lades till senare delar en flerspråkig kodare, en modell som omvandlar text till tal. Kodaren är fryst, så dess vikter ändras aldrig. Ovanpå den sitter en liten klassificerare som har tränats för ett enda språk.

En lång text läses i på varandra följande fönster, och resultaten slås ihop till en poäng för hela texten. Upp till tre stycken på minst 50 ord får dessutom en egen poäng, och det är de avsnitten som detektorn markerar.

Engelska har en äldre, separat modell: en egen fryst engelsk kodare, klassificerare som Textumi har tränat ovanpå den och en andra modell vars signal kombineras med deras enligt en fast regel.

En text bedöms alltid av klassificeraren för sitt eget språk. Ett språk utan godkänd klassificerare får ett felmeddelande, aldrig en poäng som lånats från ett annat språk.

Var träningstexterna kommer ifrån

De mänskliga texterna för de arton språken kommer från Wikimedias projekt: nyheter från Wikinews, artiklar från Wikipedia och diskussionssidor på Wikipedia. Hindi, indonesiska, vietnamesiska, hebreiska och danska har ingen Wikinews, så läroböcker från Wikibooks tar dess plats.

Varje text är ett helt prosastycke på 80 till 280 ord ur den senaste versionen av sidan före 2020. Datumet är beviset på att en människa skrev den. Ingen text märks som mänsklig för att en annan detektor sagt det.

Stubbar som skrivits av program och notiser som upprepas från sida till sida filtreras bort. Filtren minskar mängden men kan inte fånga varenda en.

Varje mänsklig text har en AI-motsvarighet om samma ämne, i samma genre och på samma språk, och av ungefär samma längd. Motsvarigheterna skrevs av två allmänt använda AI-modeller från olika leverantörer, som tog hälften av källorna var. Svar som hade klippts av, kopierade sin källa eller inte var ren prosa sorterades bort.

Den ukrainska korpusen är äldre: den innehåller historiska texter från Wikimedia och AI-texter från en modell. Inga kundtexter används för att träna någon detektor.

Ett förseglat test som öppnas en gång per version

Texterna grupperas efter källa, så att kapitlen i en lärobok eller arkiven för en diskussionssida hålls samman. Grupperna delas en gång i tre delar: träning, kalibrering och test. En mänsklig text och dess AI-motsvarighet hamnar alltid i samma del.

Testet omfattar ungefär 200 källgrupper. Det förblir förseglat medan klassificeraren väljs och dess tröskel bestäms, och sedan öppnas det en gång.

Om versionen inte klarar testet används det testet inte igen. Dess texter blir träningsdata, och nästa version testas på nya källgrupper som ingen tidigare version har sett. På så sätt undviker vi att justera en klassificerare tills den råkar passa sitt eget prov.

Så bestäms tröskeln och etiketterna

För de arton språken ligger tröskeln där högst 2 av 100 mänskliga texter flaggas. Det räknas på mänskliga texter som klassificeraren inte har lärt sig av, vilket i de första versionerna betydde kalibreringsdelen.

Versioner som tagits fram efter den 12 oktober 2026 räknar den på alla texter utanför testet, där varje text bedöms av en klassificerare som aldrig har sett textens källgrupp. Tröskeln fryses innan testet öppnas.

Regeln håller medvetet falsklarmen få och accepterar att fler AI-texter missas. Den gör inte poängen till en sannolikhet.

Varje klassificerares tröskel placeras vid 0,5 på modellens skala från 0 till 1. Den punkten är signalgränsen. På textumi.com visas poängen utan siffra: som en visare på en mätare från ”Människa” till ”AI” och en av fem etiketter.

En text på färre än 50 ord får ingen etikett, utan Textumi visar ”För lite text för att bedöma”. Varje etikett är en uppskattning utifrån textens stil, inte en uppmätt andel AI-text och inte ett bevis på vem som skrev den. En AI-assistent som är ansluten via MCP får själva poängen som ett tal.

Ribban som en version måste klara innan den släpps

En version för ett av de arton språken erbjuds bara om dess test omfattar minst 150 mänskliga texter och 150 AI-texter och alla tre villkoren nedan uppfylls i det testet:

• högst 5 % av de mänskliga texterna flaggas, så att falsklarmen förblir få;
• minst 60 % av AI-texterna hittas i testet som helhet;
• minst 50 % av AI-texterna hittas inom varje område i korpusen: nyheter eller läroböcker, uppslagsartiklar och diskussioner.

Innan versionen godkänns laddas den exporterade klassificeraren av samma kod som hanterar förfrågningarna, och dess poäng jämförs med dem den gav under träningen.

Ett språk vars version inte klarar ribban erbjuds inte. Tjeckiska klarade den inte, så Textumi stöder inte tjeckiska.

Nederländska är det enda undantaget. Den nuvarande versionen nådde inte riktigt upp: den hittade 59,8 % av AI-texterna där 60 % krävs, och 49,4 % i uppslagsartiklar där 50 % krävs. Textumi beslutade att ändå erbjuda den och lät själva regeln vara oförändrad.

Vad en släppt version säger dig

En släppt version har uppfyllt regeln en gång, på prosa från Wikimedia och texter från två AI-modeller. Det beskriver hur den beter sig på den sortens material. Det garanterar ingen träffsäkerhet på andra texter och ger ingen kalibrerad sannolikhet för vem som skrev en text.

Detektorerna för engelska och ukrainska har varit i drift längst. Den ukrainska klassificeraren testades på 200 mänskliga texter och 198 AI-texter från 200 källgrupper, och den engelska modellen på en liten undanhållen uppsättning med 80 mänskliga texter och 20 AI-texter. Även deras poäng är okalibrerade signaler.

Det som testerna inte täcker

• Andra genrer. På en liten uppsättning AI-texter av andra slag, som meddelanden, klagomål och instruktioner, missade detektorerna för franska, vietnamesiska, turkiska och indonesiska de flesta, och de för svenska och nederländska ungefär hälften. Portugisiska, arabiska, polska, tyska, italienska, norskt bokmål och danska har inte kontrollerats på andra genrer.
• Korta texter. Träningsutdragen har minst 80 ord. Under 50 ord ger Textumi ingen etikett, och ett resultat för en text strax över den gränsen är fortfarande mindre pålitligt på alla språk.
• Blandad och redigerat författarskap. Korpusen innehåller helt mänskliga och helt AI-skrivna texter, så ett redigerat AI-utkast eller en noggrant putsad mänsklig text ligger utanför det som har testats.
• Andra AI-modeller. AI-texterna i korpusen kommer från två modeller, och text från andra generatorer ingick inte i testet.
• Engelska i stor skala. Den engelska modellen har kontrollerats på en mycket mindre uppsättning än detektorerna för de andra språken.

Varför mänskligt skriven text flaggasSpråken och status för vart och ett

Så ändras versionerna

Varje klassificerare har ett versionsnummer. En ny version innebär en ny uppdelning av korpusen och ett nytt förseglat test, och varje ändring av en tröskel kräver en egen validering och en versionsanteckning.

Textumi fortsätter att arbeta med detektorns kvalitet, och varje ny version går igenom samma regel. En version bedöms bara på källor den aldrig har sett, och varje release är ett separat beslut. När metoden ändras, ändras den här sidan och dess datum också.