Zo is de AI-detector van Textumi gebouwd en getest

Eén classifier voor elke taal

Het Oekraïens en de achttien later toegevoegde talen delen één meertalige encoder, een model dat tekst omzet in getallen. De encoder is bevroren, dus zijn gewichten veranderen nooit. Daarbovenop zit een kleine classifier die voor slechts één taal is getraind.

Een lange tekst wordt in opeenvolgende vensters gelezen, en de uitkomsten worden gecombineerd tot één score voor de hele tekst. Tot drie alinea’s van 50 woorden of meer krijgen daarnaast een eigen score, en dat zijn de passages die de detector markeert.

Het Engels heeft een ouder, apart model: een eigen bevroren Engelse encoder, classifiers die Textumi daarbovenop heeft getraind, en een tweede model waarvan het signaal volgens een vaste regel met het hunne wordt gecombineerd.

Een tekst wordt altijd beoordeeld door de classifier van zijn eigen taal. Een taal zonder goedgekeurde classifier krijgt een foutmelding, nooit een score die van een andere taal is geleend.

Waar de trainingsteksten vandaan komen

De teksten van mensen voor de achttien talen komen uit projecten van Wikimedia: nieuws van Wikinews, artikelen van Wikipedia en overlegpagina’s van Wikipedia. Hindi, Indonesisch, Vietnamees, Hebreeuws en Deens hebben geen Wikinews, dus daar nemen studieboeken van Wikibooks die plaats in.

Elke tekst is een volledige alinea proza van 80 tot 280 woorden uit de laatste versie van de pagina van vóór 2020. Die datum is het bewijs dat een mens hem schreef. Geen enkele tekst krijgt het label menselijk omdat een andere detector dat zei.

Beginnetjes die door programma’s zijn geschreven en mededelingen die van pagina tot pagina terugkomen, worden eruit gefilterd. De filters verminderen ze, maar vangen niet elk laatste exemplaar.

Elke tekst van een mens heeft een AI-tegenhanger over hetzelfde onderwerp, in hetzelfde genre en dezelfde taal en van vergelijkbare lengte. Twee veelgebruikte AI-modellen van verschillende aanbieders schreven die tegenhangers, elk voor de helft van de bronnen. Antwoorden die waren afgebroken, hun bron kopieerden of geen gewoon proza waren, zijn weggegooid.

Het Oekraïense corpus is ouder: het bevat historische teksten van Wikimedia en AI-teksten van één model. Voor het trainen van geen enkele detector worden teksten van klanten gebruikt.

Een verzegelde test, één keer per versie geopend

Teksten worden per bron gegroepeerd, zodat de hoofdstukken van één studieboek of de archieven van één overlegpagina bij elkaar blijven. De groepen worden één keer verdeeld in drie delen: training, kalibratie en test. Een tekst van een mens en zijn AI-tegenhanger komen altijd in hetzelfde deel terecht.

De test bevat ongeveer 200 brongroepen. Hij blijft verzegeld terwijl de classifier wordt gekozen en de drempel wordt ingesteld, en wordt daarna één keer geopend.

Haalt de versie het niet, dan wordt die test niet opnieuw gebruikt. De teksten ervan worden trainingsdata, en de volgende versie wordt getest op nieuwe brongroepen die geen eerdere versie heeft gezien. Zo voorkomen we dat we een classifier net zo lang bijstellen tot hij toevallig op zijn eigen examen past.

Hoe de drempel en de labels worden bepaald

Voor de achttien talen ligt de drempel op het punt waar hoogstens 2 op de 100 teksten van mensen worden gemarkeerd. Dat wordt geteld op teksten van mensen waarvan de classifier niet heeft geleerd, wat in de eerste versies het kalibratiedeel betekende.

Versies die na 12 oktober 2026 zijn gemaakt, tellen het op elke tekst buiten de test, steeds beoordeeld door een classifier die de brongroep van die tekst nooit heeft gezien. De drempel wordt vastgezet voordat de test wordt geopend.

Deze regel houdt valse alarmen bewust zeldzaam en accepteert dat er meer AI-teksten worden gemist. Hij maakt van de score geen kans.

De drempel van elke classifier wordt op 0,5 gelegd op de schaal van het model van 0 tot 1. Dat punt is de signaalgrens. Op textumi.com wordt de score zonder getal getoond: een naald op een meter van ‘Mens’ tot ‘AI’ en een van vijf labels.

Een tekst van minder dan 50 woorden krijgt geen label: Textumi toont dan ‘Te weinig tekst om te beoordelen’. Elk label is een schatting op basis van de stijl van de tekst, geen gemeten aandeel AI-tekst en geen bewijs van auteurschap. Een AI-assistent die via MCP is gekoppeld, krijgt de score zelf als getal.

De lat die een versie vóór de release moet halen

Een versie voor een van de achttien talen wordt alleen aangeboden als de test ervan minstens 150 teksten van mensen en 150 AI-teksten bevat en aan alle drie deze voorwaarden op die test is voldaan:

• niet meer dan 5% van de teksten van mensen wordt gemarkeerd, zodat er weinig valse alarmen zijn;
• over de hele test wordt minstens 60% van de AI-teksten gevonden;
• in elk domein van het corpus wordt minstens 50% van de AI-teksten gevonden: nieuws of studieboeken, encyclopedieartikelen en discussies.

Vóór de goedkeuring wordt de geëxporteerde classifier geladen door dezelfde code die de verzoeken afhandelt, en worden zijn scores vergeleken met die hij tijdens de training gaf.

Een taal waarvan de versie de lat niet haalt, wordt niet aangeboden. Het Tsjechisch haalde hem niet, dus Textumi ondersteunt geen Tsjechisch.

Het Nederlands is de enige uitzondering. De huidige versie kwam net tekort: hij vond 59,8% van de AI-teksten waar 60% vereist is, en 49,4% in encyclopedieartikelen waar 50% vereist is. Textumi besloot hem toch aan te bieden en liet de regel zelf ongewijzigd.

Wat een uitgebrachte versie je vertelt

Een uitgebrachte versie voldeed één keer aan de regel, op proza van Wikimedia en teksten van twee AI-modellen. Dat beschrijft hoe hij zich op dat soort materiaal gedraagt. Het garandeert geen nauwkeurigheid op andere teksten en geeft geen gekalibreerde kans op auteurschap.

De detectors voor Engels en Oekraïens zijn het langst in gebruik. De Oekraïense classifier is getest op 200 teksten van mensen en 198 AI-teksten uit 200 brongroepen, en het Engelse model op een kleine achtergehouden set van 80 teksten van mensen en 20 AI-teksten. Ook hun scores zijn ongekalibreerde signalen.

Wat de tests niet afdekken

• Andere genres. Op een kleine set AI-teksten van andere soorten, zoals mededelingen, klachten en instructies, misten de detectors voor Frans, Vietnamees, Turks en Indonesisch het merendeel, en die voor Zweeds en Nederlands ongeveer de helft. Portugees, Arabisch, Pools, Duits, Italiaans, Noors (Bokmål) en Deens zijn niet op andere genres gecontroleerd.
• Korte teksten. Fragmenten voor de training hebben minstens 80 woorden. Onder de 50 woorden geeft Textumi geen label, en een resultaat voor een tekst die daar net boven zit, blijft in elke taal minder betrouwbaar.
• Gemengd en bewerkt auteurschap. Het corpus bevat teksten die volledig van mensen of volledig van AI zijn, dus een bewerkt AI-concept of een zorgvuldig gepolijste tekst van een mens valt buiten wat er is getest.
• Andere AI-modellen. De AI-teksten in het corpus komen van twee modellen, en tekst van een andere generator maakte geen deel uit van de test.
• Engels op grote schaal. Het Engelse model is gecontroleerd op een veel kleinere set dan de detectors van de andere talen.

Waarom tekst van mensen wordt gemarkeerdElke taal en haar stand van zaken

Hoe versies veranderen

Elke classifier heeft een versienummer. Een nieuwe versie betekent een nieuwe verdeling van het corpus en een nieuwe verzegelde test, en elke wijziging van een drempel vraagt om een eigen validatie en een versieverslag.

Textumi blijft werken aan de kwaliteit van de detector, en elke nieuwe versie gaat door dezelfde regel. Een versie wordt alleen beoordeeld op bronnen die hij nooit heeft gezien, en elke release is een afzonderlijk besluit. Als de methode verandert, veranderen deze pagina en haar datum mee.