Zo werkt een AI-detector, en hier gaat hij de mist in

Wat een AI-detector meet

Een detector schat in hoe sterk de formulering van een tekst lijkt op de AI-tekst waarop hij is getraind.

Taalmodellen kiezen meestal de waarschijnlijkste woorden en bouwen gelijkmatige, keurige zinnen. Mensen zijn minder voorspelbaar: ze herhalen zichzelf, wisselen van tempo en kiezen woorden die geen model zou verwachten. Een detector leert dat statistische verschil uit een groot aantal voorbeelden.

Twee opzetten komen veel voor. De eerste vraagt een ander taalmodel hoe voorspelbaar elk woord van de tekst is en behandelt heel voorspelbare tekst als verdacht. Die maat heet perplexiteit.

De tweede is een getrainde classifier. Een encoder zet de tekst om in een reeks getallen, en een classifier die op menselijke en AI-voorbeelden is getraind, geeft die getallen een score. Textumi werkt zo, met detectormodellen die we zelf trainen, afstemmen en op onze eigen servers draaien. Beide opzetten gaan alleen uit van de tekst.

Watermerken is een apart idee: een model laat tijdens het schrijven een statistisch merkteken in zijn tekst achter, en wie de sleutel heeft, kan daarop controleren. Dat werkt alleen bij modellen die zo’n merkteken toevoegen, dus een detector die elke tekst moet kunnen lezen, kan er niet op bouwen.

Een detector controleert geen feiten, beoordeelt het betoog niet en zoekt je tekst niet op in een archief van chatbotantwoorden. Twee teksten met dezelfde betekenis en een andere formulering kunnen heel verschillende resultaten krijgen.

Waarom het resultaat een signaal is en geen oordeel

Menselijke en AI-tekst overlappen. Sommige mensen schrijven gelijkmatig en voorspelbaar, en een model kan de opdracht krijgen om ongelijkmatig te schrijven.

Waar je een drempel ook door die overlap trekt, er komt altijd menselijke tekst aan de AI-kant terecht en AI-tekst aan de menselijke kant. De drempel verschuiven ruilt alleen de ene fout in voor de andere.

Het resultaat zelf is makkelijk verkeerd te lezen. Textumi geeft er een van vijf labels aan: ‘Door een mens geschreven’, ‘Grotendeels menselijk’, ‘Gemengd: mens en AI’, ‘Grotendeels AI’ en ‘Door AI gegenereerd’. De eerste twee liggen onder de drempel, de andere drie erboven. Een label beschrijft hoe de stijl van de hele tekst leest, niet de kans op AI-auteurschap of het aandeel van de tekst dat is gegenereerd.

Toont een andere detector een percentage, dan is ook dat een schatting van een model en verdient het dezelfde voorzichtigheid.

Deze grenzen zijn goed gedocumenteerd. In 2023 trok OpenAI zijn eigen classificatietool voor AI-tekst terug vanwege de lage nauwkeurigheid, en onderzoekers van Stanford meldden datzelfde jaar dat detectors essays van schrijvers met Engels als tweede taal vaker markeerden dan essays van moedertaalsprekers.

Wat parafraseren en bewerken met een resultaat doen

Een detector beoordeelt de tekst die hij krijgt. Verandert de formulering, dan verandert het resultaat mee.

Herschrijft een mens een door AI gegenereerde tekst zin voor zin, dan blijven er minder van de patronen over die de detector kent. Poetst een AI-assistent de tekst van een mens op, dan verschijnen er juist meer.

Het resultaat is gemengde tekst. Een detector die is getraind op puur menselijke en puur AI-voorbeelden, kan die aan beide kanten plaatsen.

Hetzelfde geldt voor parafraseertools, onze eigen Humanizer inbegrepen. De Humanizer streeft naar natuurlijke formuleringen die de feiten en logica van het origineel behouden, niet naar een score. Een herschrijving is een nieuwe formulering, en het resultaat van de detector gaat over die formulering, niet over waar de tekst vandaan komt, dus een tekst die de ene detector met rust laat, kan door een andere nog steeds worden gemarkeerd.

Ook flinke grammaticacorrectie en vertaling verschuiven resultaten, soms richting de AI-kant.

Waarom nieuwe modellen een bewegend doelwit zijn

Een detector kent de modellen waarvan teksten in zijn trainingsdata zaten, zoals die modellen toen schreven. Tekst van een nieuwer of ander model kan daarop lijken of niet, en alleen testen kan dat uitwijzen.

De detectors van Textumi voor andere talen dan Engels en Oekraïens zijn getraind op tekst van twee veelgebruikte AI-modellen. Tekst van andere modellen valt buiten die tests, en dat is een van de redenen waarom we de detectors blijven verbeteren en in versies uitbrengen.

Waarom andere talen dan Engels lastiger zijn

Een model dat op Engelse tekst is getraind, gaat niet vanzelf even goed werken in andere talen. Elke taal heeft eigen menselijke teksten, eigen AI-teksten en een eigen test nodig.

Het lastigste is tekst verzamelen waarvan vaststaat dat mensen hem hebben geschreven. Kleinere talen hebben daar minder van, dus een trainingsset beslaat vaak maar een paar genres.

Textumi traint voor elke taal een aparte classifier. De detectors voor Engels en Oekraïens zijn het grondigst getest. De detectors voor de andere talen zijn getraind en getest op proza uit Wikimedia-projecten en op tekst van twee AI-modellen.

In andere genres missen sommige van deze detectors veel AI-teksten, onder meer die voor Frans, Vietnamees, Turks, Indonesisch en Nederlands. Vertaalde tekst is in elke taal een extra bron van fouten.

Talen en hoe elk ervan ervoor staatZo wordt de AI-detector van Textumi gebouwd en getest

Zo lees je een resultaat verantwoord

• Lees de gemarkeerde passages voordat je naar het label kijkt, want die laten zien waar het signaal vandaan komt en je kunt die regels dan zelf beoordelen.
• Let op de lengte. Onder de 50 woorden toont Textumi ‘Te weinig tekst om te beoordelen’ in plaats van een label, en bij korte teksten is bij elke detector voorzichtigheid geboden.
• Let op het genre en de taal. Een markering bij een formele brief, of een resultaat in een taal die op een smallere verzameling teksten is getest, weegt minder zwaar dan hetzelfde resultaat bij een lang Engels essay.
• Zie ‘Door een mens geschreven’ en ‘Grotendeels menselijk’ als inschattingen. Ze betekenen dat de detector weinig vond wat op AI lijkt, niet dat een mens de tekst zeker heeft geschreven.
• Verzamel ander bewijs voordat je iets beslist: concepten, versiegeschiedenis en een gesprek met de schrijver zeggen meer over auteurschap dan welke detector ook.

Waarom menselijke tekst wordt gemarkeerdVerantwoord gebruik