AI-detector voor docenten: een resultaat eerlijk gebruiken

Wat een detectorresultaat wel en niet kan onderbouwen

Een detector vergelijkt een tekst met patronen die hij uit menselijke en machinale teksten heeft geleerd en geeft een signaal van het model terug. Textumi geeft het resultaat een van vijf labels: ‘Door een mens geschreven’, ‘Grotendeels menselijk’, ‘Gemengd: mens en AI’, ‘Grotendeels AI’ en ‘Door AI gegenereerd’.

Elk label is een inschatting op basis van de stijl, geen vaststelling van wie de tekst schreef. ‘Door een mens geschreven’ bevestigt niet dat een mens de tekst schreef, en ‘Gemengd’ of ‘Grotendeels AI’ laat niet zien welk deel van de tekst een machine schreef: dat meet de detector niet. Geen enkel label is de kans dat de student AI heeft gebruikt.

‘Door een mens geschreven’ pleit dus niemand vrij, en ‘Door AI gegenereerd’ veroordeelt niemand.

• Een resultaat kan je helpen bepalen welke inzendingen een tragere, nauwkeurigere lezing verdienen dan de rest.
• Een resultaat kan je wijzen op passages waar je in het gesprek met de student naar kunt vragen.
• Een resultaat kan niet vaststellen wie een tekst schreef en mag nooit de enige grond zijn voor een lager cijfer of een melding van fraude.
• Een resultaat kan een meningsverschil niet beslechten, want een student kan niet inhoudelijk in discussie gaan met een signaal van een model.

Detectors vergissen zich in beide richtingen: ze markeren menselijke tekst en missen AI-tekst. In 2023 trok OpenAI zijn eigen classificatietool voor AI-tekst terug vanwege de lage nauwkeurigheid. Toets een resultaat van welke tool dan ook aan ander bewijs.

Een eerlijke beoordeling begint bij hoe de student schreef

Het sterkste bewijs van auteurschap is hoe een tekst tot stand kwam, en daar ziet een detector niets van. Maak je je zorgen over een inzending, loop dan deze stappen door voordat je een oordeel vormt.

1. Lees het werk eerst zelf en noteer wat niet klopt: een andere stem, bronnen die niet bestaan, beweringen die nooit in het vak aan bod kwamen.
2. Vergelijk het met eerder werk van dezelfde student, liefst iets wat in de les is geschreven: woordenschat, zinslengte, kenmerkende fouten.
3. Vraag om concepten, aantekeningen en een opzet. Een document uit een online editor heeft meestal een versiegeschiedenis die laat zien hoe de tekst in uren of dagen groeide.
4. Praat onder vier ogen met de student, zonder te beschuldigen. Vraag de student het betoog uit te leggen, te beschrijven hoe een bron werd gevonden of te zeggen waarom een alinea zo is opgebouwd.
5. Noteer wat je hebt bekeken en wat je vond, ook alles wat in het voordeel van de student pleit.
6. Volg de procedure van je instelling en beslis op basis van al het bewijs samen, niet op één detectorresultaat.

Een student die concepten kan laten zien en het werk tot in detail kan bespreken, heeft de vraag beantwoord die de detector opriep. Lukt dat niet, dan kan er een ander gesprek volgen, maar de conclusie rust dan op dat gesprek en de concepten, niet op het label van de detector.

Korte antwoorden en anderstalige schrijvers vragen extra zorg

Een korte tekst geeft een detector heel weinig om mee te werken. Textumi neemt teksten vanaf 5 woorden aan, maar onder de 50 woorden toont het ‘Te weinig tekst om te beoordelen’ in plaats van een label, en zelfs een iets langer antwoord geeft een minder betrouwbaar resultaat dan een volledig essay. Textumi beoordeelt alleen alinea’s van 50 woorden of meer afzonderlijk, dus een antwoord van één alinea of een bijdrage aan een discussieforum is te mager om met een detector te beoordelen.

Studenten die in een tweede taal schrijven, worden vaker ten onrechte gemarkeerd. In 2023 ontdekten onderzoekers van Stanford dat detectors essays van schrijvers met Engels als tweede taal vaker als door AI gegenereerd bestempelden dan essays van moedertaalsprekers. Een kleinere woordenschat en regelmatige zinnen lijken voor een model voorspelbaar, en voorspelbaarheid is precies wat een detector als machinetaal leest.

Lees resultaten even voorzichtig bij formulematige genres zoals practicumverslagen en samenvattingen, en bij teksten die zijn vertaald, zwaar bewerkt of deels met hulp van iemand anders geschreven.

Ook de taal telt. De detectors van Textumi voor Engels en Oekraïens zijn het grondigst getest. De andere achttien talen zijn getraind en getest op een smallere verzameling teksten. De detectors voor Frans, Vietnamees, Turks, Indonesisch en Nederlands missen in andere genres vaak AI-teksten, dus een resultaat ‘Door een mens geschreven’ of ‘Grotendeels menselijk’ zegt in die talen weinig.

Een kort vakbeleid over AI en detectie

Studenten kunnen er beter mee omgaan als ze de regels vóór de eerste opdracht kennen. Eén pagina, in lijn met de regelgeving van je instelling, kan deze punten behandelen.

• Welke vormen van AI-gebruik in het vak zijn toegestaan, welke niet, en of dat per opdracht verschilt.
• Hoe studenten toegestane AI-hulp moeten vermelden, bijvoorbeeld in een korte notitie aan het eind van het werk.
• Een verzoek om concepten, aantekeningen en versiegeschiedenis te bewaren tot de eindcijfers bekend zijn, met de reden waarom je dat vraagt.
• Dat je een detector kunt gebruiken, dat het resultaat een signaal is en geen bewijs, en dat geen enkele sanctie alleen daarop zal berusten.
• Wat er na een melding gebeurt: een gesprek onder vier ogen, een blik op de concepten, en de formele procedure alleen als er twijfels blijven.
• Hoe een student bezwaar kan maken of in beroep kan gaan als hij vindt dat hij ten onrechte is gemarkeerd.

Zo controleer je een tekst in Textumi

1. Log in op je Textumi-account, open de werkruimte en kies AI-detector.
2. Plak de tekst, of importeer een DOCX-, PDF-, ODT-, RTF-, TXT- of MD-bestand van maximaal 10 MB. Tekst in een schermafbeelding of foto in PNG of JPEG kan worden herkend, maar loop hem na voordat je controleert.
3. Laat de taal op automatische herkenning staan, of kies hem zelf als de tekst kort of gemengd is.
4. Kies Tekst analyseren. Eén controle neemt tot 12.000 tekens, dus controleer een lang werkstuk in delen.
5. Bekijk het label naast het origineel en de gemarkeerde alinea’s. In een lange tekst dekken de markeringen niet elke alinea.

De detector is een eigen ontwikkeling van Textumi: we hebben de modellen zelf gebouwd en afgesteld, en controles draaien op onze eigen servers zonder dat de tekst naar een externe AI-aanbieder gaat. Je gebruikt hem in de webwerkruimte, in de macOS-app bij Individueel en Professioneel, of via de connector van Textumi direct in een gesprek met je AI-assistent. We blijven de detector verbeteren en voegen regelmatig hulpmiddelen toe die het dagelijkse werk ermee makkelijker maken.

Hoeveel woorden je kunt controleren, hangt af van je abonnement; op de pagina Prijzen staan alle tegoeden. Bij Individueel en Professioneel blijven resultaten 30 dagen in een persoonlijke Geschiedenis staan, en je kunt ze eerder verwijderen. Bij abonnementen zonder Geschiedenis kun je een resultaat ongeveer een uur na afloop openen; daarna heb je er geen toegang meer toe, en binnen 7 dagen wordt het verwijderd.

Open de AI-detectorAbonnementen vergelijkenLees het privacybeleid