Wat een vals-positief is
Een vals-positief is een tekst die door een mens is geschreven en die een detector als door AI gegenereerd markeert.
De detector weet niet wie de tekst schreef. Hij geeft de formulering een score, vergelijkt die met een drempel en meldt alles boven de drempel als AI-signaal. Een deel van de teksten van mensen komt daar onvermijdelijk boven uit.
Geen enkele instelling lost dat op. Een hogere drempel markeert minder teksten van mensen, maar mist meer AI-tekst, en een lagere drempel doet het omgekeerde.
Grote bedrijven lopen tegen dezelfde muur aan. In 2023 trok OpenAI zijn eigen classifier voor AI-tekst terug, met als reden de lage nauwkeurigheid.
Wiens tekst vaker wordt gemarkeerd
Vals-positieven treffen niet elk soort tekst even vaak. Detectors zitten het vaakst fout bij deze teksten:
- Tekst in een tweede taal. Onderzoekers van Stanford meldden in 2023 dat AI-detectors essays van schrijvers met Engels als tweede taal vaker markeerden dan essays van moedertaalsprekers.
- Formele en formulematige tekst. Sollicitatiebrieven, samenvattingen, zakelijke e-mails en officiële documenten volgen vaste patronen, en voorspelbare formuleringen zijn precies waar een detector op reageert.
- Korte tekst. Een paar zinnen geven te weinig om te beoordelen, en daarom toont Textumi onder de 50 woorden geen label; een resultaat voor een tekst die daar net boven zit, blijft minder betrouwbaar.
- Sterk gepolijste tekst. Grammaticatools, vertaling en veel redactierondes strijken de kleine onregelmatigheden van een echt concept glad.
Je hoeft niet slechter te schrijven om menselijk over te komen. Maar wie het resultaat van een detector leest, moet weten dat een markering bij dit soort teksten minder zwaar weegt.
Wat een resultaat van een detector niet bewijst
Een detector ziet alleen de afgewerkte tekst. Hij ziet je aantekeningen niet, je bronnen niet, de uren die je erin stak niet en de eerdere versies van het bestand niet. Hij kan een zorgvuldige schrijver niet onderscheiden van een model dat zorgvuldig schrijven nabootst.
Een resultaat van een detector is geen kans. Textumi geeft het weer met een van vijf labels, van ‘Door een mens geschreven’ tot ‘Door AI gegenereerd’. Zelfs ‘Door AI gegenereerd’ betekent niet dat de tekst vrijwel zeker door AI is geschreven, en ‘Grotendeels AI’ betekent niet dat een model de meeste zinnen schreef. Een label zegt alleen dat de formulering sterk lijkt op wat de detector met AI heeft leren associëren.
Toont een andere detector een percentage, lees dat dan met dezelfde voorzichtigheid. Ook dat is de score van een model, niet het aandeel van de tekst dat gegenereerd is.
Twee detectors kunnen dezelfde tekst verschillend beoordelen. Ze zijn op verschillende voorbeelden getraind, en elk legt zijn drempel op een andere plek.
Wat je doet als je ervan wordt beschuldigd AI te hebben gebruikt
Een resultaat van een detector is op zichzelf zwak bewijs. Een vastlegging van hoe de tekst tot stand kwam, is veel sterker. Doorloop deze stappen op volgorde.
- Vraag welke detector er is gebruikt, wat hij precies liet zien en welk resultaat de mensen die je werk beoordelen als grond voor een vermoeden zien.
- Verzamel je concepten, schema’s, aantekeningen en bronnen, ook de ruwe versies die je normaal aan niemand zou laten zien.
- Open de versiegeschiedenis van het document. Google Docs en Microsoft Word kunnen allebei vastleggen hoe een tekst in de loop van de tijd veranderde, en een spoor van kleine wijzigingen over meerdere dagen valt moeilijk te betwisten.
- Bied aan om het werk samen door te nemen. Als je je redenering, je bronnen en je keuzes uitlegt, laat je auteurschap zien op een manier die geen detector kan.
- Vraag om het schriftelijke beleid over het gebruik van AI en over resultaten van detectors, en vraag dat het besluit niet alleen op een resultaat van een detector rust.
Schrijf voortaan in een editor die een versiegeschiedenis bijhoudt en bewaar je aantekeningen. Dat kost je niets tijdens het werk, terwijl zulk bewijs achteraf moeilijk te reconstrueren is.
Hoe Textumi zijn drempel instelt
De detector van Textumi is een eigen ontwikkeling: we trainen en stellen de modellen zelf af, draaien ze op onze eigen servers en blijven ze verbeteren. De drempel, de grens waarboven hij een AI-signaal meldt, ligt bewust zo dat er zo weinig mogelijk teksten van mensen worden gemarkeerd, ook al blijft er dan wat AI-tekst onopgemerkt.
Voor elke taal behalve Engels en Oekraïens ligt de drempel op het punt waar niet meer dan twee op de honderd teksten van mensen worden gemarkeerd. Dat tellen we op teksten van mensen waarvan het model niet heeft geleerd.
De Oekraïense drempel is bepaald met een eerdere versie van dezelfde regel. De Engelse detector is een ouder model met een eigen vaste drempel.
Dit is een keuze over welke fout we willen vermijden, geen belofte van nauwkeurigheid op jouw tekst. De tellingen komen uit één soort tekst, proza uit projecten van Wikimedia, dus bij een sollicitatiebrief of een korte e-mail kan het aandeel gemarkeerde teksten van mensen hoger liggen.
Er is een tweede waarborg. Een nieuwe versie van de detector voor een van deze talen wordt niet uitgebracht als ze op testteksten die ze nooit heeft gezien meer dan vijf op de honderd teksten van mensen markeert.
Onder de drempel is het resultaat ‘Door een mens geschreven’ of ‘Grotendeels menselijk’. Ook deze labels zijn schattingen op basis van stijl: Textumi kan niet aantonen dat een mens een tekst zeker heeft geschreven, omdat een model niet ziet hoe die tot stand kwam.
Een gemarkeerd resultaat in Textumi lezen
Begin bij de gemarkeerde passages, niet bij het label onder de naald. Komt het signaal van één formele alinea in een persoonlijk essay, dan zegt het iets over die alinea, niet over jou.
Bij een tekst van minder dan 50 woorden toont Textumi geen label, alleen ‘Te weinig tekst om te beoordelen’, omdat een oordeel over zo weinig tekst onbetrouwbaar is. Controleer een langere passage uit hetzelfde document: vanaf 50 woorden is de schatting betrouwbaarder.
Leest een gemarkeerde passage echt stijf, herschrijf hem dan zelf of vraag de Humanizer om een natuurlijkere versie die de betekenis bewaart. Dat verandert de formulering, niet de geschiedenis van de tekst, en een andere detector kan hem nog steeds markeren.
Veelgestelde vragen
Kan een AI-detector zich vergissen?
Ja. Elke AI-detector markeert soms tekst van mensen en mist soms tekst van AI, omdat hij alleen de formulering beoordeelt en niet kan zien hoe een tekst tot stand kwam. Textumi zegt dat ook naast zijn resultaten: het label is een schatting op basis van de stijl van de tekst, geen oordeel over wie hem schreef.
Waarom werd mijn eigen tekst als AI gemarkeerd?
Meestal omdat hij kort of formeel is, in een tweede taal is geschreven of vaak is bewerkt. Zulke tekst gebruikt voorspelbare formuleringen, en voorspelbare formuleringen zijn precies wat detectors met AI associëren. De markering beschrijft de woorden op de pagina en zegt niets met zekerheid over hoe jij hebt gewerkt.
Kan een resultaat van een detector bewijzen dat ik AI heb gebruikt?
Nee. Een resultaat van een detector is een statistisch signaal, geen bewijs van wat je hebt gedaan. Het mag nooit de enige basis zijn voor een besluit over een cijfer, een baan of een publicatie. Concepten, versiegeschiedenis en een gesprek over het werk zeggen veel meer over auteurschap.
Veroorzaken grammaticacheckers en vertaaltools vals-positieven?
Dat kan. Ingrijpende correctie en vertaling vervangen persoonlijke, onregelmatige formuleringen door gladdere, meer standaard bewoordingen, en vertaalde of sterk bewerkte teksten horen bij de teksten die detectors het vaakst verkeerd inschatten. Heb je zulke tools gebruikt, zeg dat dan open en bewaar de versie die je ervoor schreef.
Hoe laat ik zien dat ik een tekst zelf heb geschreven?
Laat zien hoe je hebt gewerkt. De versiegeschiedenis in Google Docs of Microsoft Word, vroege concepten, schema’s en aantekeningen leggen allemaal vast hoe de tekst zich ontwikkelde. Bied daarna aan om je redenering en bronnen samen door te nemen. Een resultaat van nog een andere detector voegt weinig toe, omdat detectors het vaak oneens zijn.
Hoeveel vals-positieven geeft Textumi?
We publiceren geen enkel percentage, omdat het afhangt van de taal, het genre en de lengte van de tekst. Wat we wel kunnen noemen, is de regel: voor elke taal behalve Engels en Oekraïens ligt de drempel op het punt waar niet meer dan twee op de honderd teksten van mensen waarvan het model niet heeft geleerd, worden gemarkeerd. Bij jouw soort tekst kan dat aandeel afwijken.
Moeten docenten op het resultaat van een AI-detector vertrouwen?
Niet op dat resultaat alleen. Een resultaat kan een gesprek op gang brengen en wijzen op passages die het bespreken waard zijn, maar kan niet vaststellen dat een student AI heeft gebruikt. Studenten die in een tweede taal of in een formele stijl schrijven, worden vaker gemarkeerd, dus een besluit dat alleen op het resultaat rust, zou tegenover hen oneerlijk zijn.