Twee soorten fouten
Een detector kan zich in twee richtingen vergissen. Hij kan een tekst markeren die een mens schreef, een vals-positief, of hij kan een AI-tekst doorlaten, een gemiste tekst.
De twee fouten trekken aan elkaar. Elke detector vergelijkt een score met een drempel: leg je de drempel lager, dan vangt hij meer AI-tekst maar markeert hij meer mensen; leg je hem hoger, dan markeert hij minder mensen maar mist hij meer AI-tekst. Geen enkele instelling haalt beide weg.
De eerste vraag bij elke detector is dus niet hoe nauwkeurig hij is, maar welke fout hij probeert te vermijden. Bij beslissingen over mensen is een vals-positief meestal de schadelijkste.
Zelfs grote bedrijven zijn hiertegen aangelopen. In 2023 trok OpenAI zijn eigen classificatietool voor AI-tekst terug vanwege de lage nauwkeurigheid.
Waarom claims van 99% nauwkeurigheid misleiden
Eén nauwkeurigheidscijfer verbergt meer dan het laat zien. Het voegt de twee soorten fouten samen in één getal, en het beschrijft één testset die is gekozen door wie de test uitvoerde.
Die testset doet er het meest toe. Een detector die is gemeten op ruwe, onbewerkte chatbotantwoorden in het Engels, ziet er veel beter uit dan dezelfde detector bij korte, bewerkte of vertaalde teksten in een andere taal.
Kleine foutpercentages tellen ook op. Stel dat een detector ten onrechte 1 op de 100 menselijke teksten markeert. In een vak met 300 eerlijke essays zijn dat ongeveer drie studenten die worden gemarkeerd voor werk dat ze zelf schreven.
Lees je een claim over nauwkeurigheid, kijk dan wat erachter zit: welke talen en genres zijn getest, hoe lang de teksten waren, of ze waren bewerkt, wie de menselijke teksten koos en hoeveel menselijke teksten werden gemarkeerd. Een claim zonder die details zegt je heel weinig.
Waar detectors moeite mee hebben
Detectors presteren het slechtst bij de teksten die mensen het vaakst moeten controleren:
- Korte teksten. Een paar zinnen bevatten te weinig aanwijzingen, en daarom toont Textumi bij alles onder de 50 woorden ‘Te weinig tekst om te beoordelen’.
- Bewerkte, geparafraseerde of vertaalde tekst. Elke wijziging brengt de formulering verder weg van wat de detector heeft geleerd, in beide richtingen.
- Formele en formulematige teksten, zoals samenvattingen, motivatiebrieven en officiële brieven, die sjablonen volgen die een detector als machinaal kan lezen.
- Teksten in een tweede taal. Onderzoekers van Stanford meldden in 2023 dat detectors essays van schrijvers met Engels als tweede taal vaker markeerden.
- Talen en genres waarvan de detector tijdens de training weinig heeft gezien.
Dat laatste geldt ook voor Textumi. Onze detectors voor andere talen dan Engels en Oekraïens zijn getraind en getest op proza uit Wikimedia. Bij een kleine steekproef van andere soorten AI-tekst, zoals mededelingen, klachten en instructies, herkenden de detectors voor Frans, Vietnamees, Turks en Indonesisch het merendeel niet, terwijl die voor Zweeds en Nederlands ongeveer de helft misten.
Waarom menselijke tekst wordt gemarkeerdZo werken AI-detectors
Zo test je zelf een detector
De eerlijkste test is er een die je uitvoert op teksten zoals die van jezelf. Het kost een uur en vertelt je meer dan welk gepubliceerd cijfer ook.
- Verzamel tien of meer teksten waarvan je weet dat een mens ze schreef, in jouw taal en genre, het liefst geschreven voordat AI-assistenten gangbaar waren.
- Schrijf of genereer evenveel AI-teksten over vergelijkbare onderwerpen en van vergelijkbare lengte, en bewerk er een paar zoals mensen dat echt doen.
- Controleer elke tekst met elke detector die je vergelijkt en noteer het resultaat, zonder tussendoor iets te veranderen.
- Tel apart hoeveel menselijke teksten werden gemarkeerd en hoeveel AI-teksten werden gemist, en kijk welke passages elke detector markeerde.
Markeert een detector meerdere van je bekende menselijke teksten, behandel zijn resultaten bij dat soort teksten dan met grote voorzichtigheid, wat de marketing ook belooft.
Zo test Textumi zijn eigen detector
We publiceren geen enkel nauwkeurigheidscijfer voor Textumi, omdat er geen eerlijk cijfer bestaat dat voor elke taal en elk soort tekst klopt. In plaats daarvan publiceren we de regel waaraan elke detectorversie moet voldoen.
Voor andere talen dan Engels en Oekraïens ligt de drempel op het punt waar hoogstens 2 op de 100 menselijke teksten waarvan de classifier niet heeft geleerd, worden gemarkeerd. Zo blijven valse meldingen zeldzaam, en accepteren we dat er meer AI-teksten worden gemist.
Elke versie wordt één keer getest op een verzegelde set teksten die ze nooit heeft gezien, met voorwaarden voor beide soorten fouten. Elke mislukte test wordt terzijde gelegd. De pagina Methodologie beschrijft de regel in detail, de ene taal die Textumi op eigen besluit aanbiedt hoewel de test ervan net tekortschoot, en wat de tests niet dekken.
Welke regel ook geldt, een resultaat is een inschatting op basis van de stijl van de tekst. Het is geen kans en geen bewijs van wie de tekst schreef.
Veelgestelde vragen
Zijn AI-detectors betrouwbaar?
Ze kunnen nuttig zijn, maar geen enkele is bij elke tekst betrouwbaar nauwkeurig. Alle detectors markeren wat menselijke tekst en missen wat AI-tekst, in wisselende mate, afhankelijk van de taal, het genre, de lengte en de bewerking van de tekst. Behandel elk resultaat als een signaal dat context nodig heeft, niet als bewijs van auteurschap.
Kan een AI-detector 99% nauwkeurig zijn?
Een detector kan op één set teksten heel hoog scoren, maar die score zegt alleen iets over die teksten, vaak lange en onbewerkte, en hij voegt twee soorten fouten samen in één getal. Dezelfde detector kan het veel slechter doen bij korte, bewerkte, vertaalde of formele teksten. Zoek dus uit waarop de score is gemeten.
Welke AI-detector is het nauwkeurigst?
Daar bestaat geen eerlijk eenduidig antwoord op. Bedrijven testen op hun eigen teksten, en de cijfers zijn niet vergelijkbaar. De beste detector voor jou is de detector die de minste van je eigen teksten markeert waarvan je weet dat ze menselijk zijn, en toch AI-teksten van jouw soort markeert, dus probeer een paar detectors uit op je eigen teksten.
Hoe nauwkeurig is Textumi?
We publiceren geen enkel cijfer, omdat dat niet voor elke taal en elk genre zou kloppen. We publiceren in plaats daarvan de methode: voor andere talen dan Engels en Oekraïens staat de drempel hoogstens 2 op de 100 gemarkeerde menselijke teksten toe onder teksten waarvan het model niet heeft geleerd, en elke versie moet aan voorwaarden voldoen in een verzegelde test. De details staan op de pagina Methodologie.
Waarom geven twee detectors verschillende resultaten voor dezelfde tekst?
Ze zijn op verschillende voorbeelden getraind en leggen hun drempels op verschillende plekken. Een tekst dicht bij de grens kan aan beide kanten terechtkomen, en de ene detector kan reageren op formuleringen die een andere negeert. Daarom zegt één resultaat, van welke detector ook, minder dan mensen vaak denken.
Mag een detectorresultaat beslissen over een cijfer of een sollicitatie?
Nee. Een resultaat is een statistisch signaal over formulering en mag nooit de enige grond zijn voor een beslissing over een persoon. Concepten, versiegeschiedenis, bronnen en een gesprek over het werk tonen auteurschap veel beter aan, en ze beschermen mensen van wie de eerlijke tekst toevallig voorspelbaar oogt.