AI-detektor för lärare: så använder du ett resultat rättvist

Vad ett detektorresultat kan och inte kan styrka

En detektor jämför en text med mönster som den har lärt sig från mänsklig och maskinell text och ger tillbaka en signal från modellen. Textumi anger resultatet med en av fem etiketter: ”Mänskligt skriven”, ”Mestadels mänsklig”, ”Blandad: människa och AI”, ”Mestadels AI” och ”AI-genererad”.

Varje bedömning är en uppskattning utifrån textens stil, inte ett konstaterande om vem som har skrivit den. ”Mänskligt skriven” bekräftar inte att en människa har skrivit texten, och ”Blandad” eller ”Mestadels AI” visar inte hur stor andel av texten en maskin har skrivit: det mäter detektorn inte. Ingen bedömning är sannolikheten för att studenten har använt AI.

”Mänskligt skriven” friar alltså ingen, och ”AI-genererad” fäller ingen.

• Ett resultat kan hjälpa dig att avgöra vilka inlämningar som förtjänar en långsammare och noggrannare läsning än resten.
• Ett resultat kan peka ut avsnitt som är värda att fråga om när du pratar med studenten.
• Ett resultat kan inte fastställa vem som har skrivit en text, och det får aldrig vara den enda grunden för ett sänkt betyg eller en anmälan om fusk.
• Ett resultat kan inte avgöra en oenighet, eftersom en student inte har någon möjlighet att argumentera i sak mot en signal från en modell.

Detektorer slår fel åt båda hållen: de flaggar mänsklig text och missar AI-text. År 2023 drog OpenAI tillbaka sitt eget verktyg för att klassificera AI-text med hänvisning till låg träffsäkerhet. Pröva ett resultat från vilket verktyg som helst mot andra belägg.

En rättvis granskning utgår från hur studenten skrev

Det starkaste beviset för vem som är författaren är hur texten kom till, och en detektor ser ingenting av det. När en inlämning oroar dig, gå igenom de här stegen innan du bildar dig en uppfattning.

1. Läs arbetet själv först och notera vad som verkar konstigt: ett byte av röst, källor som inte finns, påståenden som kursen aldrig har tagit upp.
2. Jämför med samma students tidigare arbeten, helst något som skrivits i klassrummet: ordförråd, meningslängd, typiska fel.
3. Be om utkast, anteckningar och en disposition. Ett dokument som skrivits i en webbaserad editor har oftast en versionshistorik som visar hur texten växte under timmar eller dagar.
4. Prata med studenten enskilt och utan anklagelser. Be hen förklara argumentationen, beskriva hur en källa hittades eller berätta varför ett stycke byggdes upp som det gjorde.
5. Skriv ner vad du tittade på och vad du kom fram till, även sådant som talar till studentens fördel.
6. Följ lärosätets rutin och fatta beslut utifrån alla belägg tillsammans, inte utifrån ett enskilt detektorresultat.

En student som kan visa utkast och diskutera arbetet i detalj har besvarat den fråga som detektorn väckte. Om studenten inte kan det kan ett annat samtal följa, men slutsatsen vilar då på det samtalet och utkasten, inte på detektorns bedömning.

Korta svar och skribenter på andraspråk kräver extra försiktighet

En kort text ger en detektor väldigt lite att arbeta med. Textumi tar emot texter från 5 ord, men under 50 ord visas ”För lite text för att bedöma” i stället för en etikett, och även ett något längre svar ger ett mindre tillförlitligt resultat än en hel essä. Textumi bedömer bara stycken på 50 ord eller mer var för sig, så ett svar på ett stycke eller ett inlägg i ett diskussionsforum är för tunt för att bedömas av en detektor.

Studenter som skriver på ett andraspråk flaggas felaktigt oftare. År 2023 kom forskare vid Stanford fram till att detektorer oftare bedömde uppsatser av skribenter med annat modersmål än engelska som AI-genererade än uppsatser av personer med engelska som modersmål. Ett mindre ordförråd och regelbundna meningar ser förutsägbara ut för en modell, och förutsägbarhet är just det som en detektor läser som maskinskriven text.

Läs resultat med samma försiktighet för formbundna genrer som laborationsrapporter och sammanfattningar, och för texter som har översatts, redigerats kraftigt eller delvis skrivits med någon annans hjälp.

Språket spelar också roll. Textumis detektorer för engelska och ukrainska är de mest grundligt testade. De övriga arton språken har tränats och testats på ett smalare urval av texter. Detektorerna för franska, vietnamesiska, turkiska, indonesiska och nederländska missar ofta AI-texter i andra genrer, så etiketten ”Mänskligt skriven” eller ”Mestadels mänsklig” säger inte mycket på de språken.

En kort kurspolicy för AI och detektering

Studenter klarar sig bättre när de känner till reglerna före den första uppgiften. En sida, i linje med lärosätets föreskrifter, kan ta upp följande punkter.

• Vilka sätt att använda AI som är tillåtna i kursen, vilka som inte är det och om svaret skiljer sig mellan olika uppgifter.
• Hur studenterna ska redovisa tillåten AI-hjälp, till exempel i en kort notering i slutet av arbetet.
• En uppmaning att spara utkast, anteckningar och versionshistorik tills slutbetygen är satta, med en förklaring till varför du ber om det.
• Att du kan komma att använda en detektor, att resultatet är en signal och inte ett bevis och att ingen påföljd kommer att vila enbart på det.
• Vad som händer efter en flaggning: ett enskilt samtal, en genomgång av utkasten och det formella förfarandet bara om frågetecknen kvarstår.
• Hur en student kan framföra synpunkter eller överklaga om hen anser sig ha flaggats felaktigt.

Så kontrollerar du en text i Textumi

1. Logga in på ditt Textumi-konto, öppna arbetsytan och välj AI-detektor.
2. Klistra in texten eller importera en DOCX-, PDF-, ODT-, RTF-, TXT- eller MD-fil på upp till 10 MB. Text i en skärmbild eller ett foto i PNG eller JPEG kan läsas in, men granska den innan du kontrollerar den.
3. Låt språket identifieras automatiskt, eller välj det själv om texten är kort eller blandad.
4. Välj Analysera text. En kontroll rymmer upp till 12 000 tecken, så kontrollera en lång uppsats i delar.
5. Titta på bedömningen bredvid originalet och på de markerade styckena. I en lång text täcker markeringarna inte alla stycken.

Detektorn är Textumis egen utveckling: vi har byggt och finjusterat dess modeller, och kontrollerna körs på våra egna servrar utan att texten skickas vidare till en extern AI-leverantör. Du kan använda den i webbens arbetsyta, i macOS-appen med Individuell och Professionell eller via Textumis koppling direkt i ett samtal med din AI-assistent. Vi fortsätter att förbättra detektorn och lägger regelbundet till verktyg som gör det dagliga arbetet med den enklare.

Hur många ord du kan kontrollera beror på din plan; prissidan visar alla kvoter. Med Individuell och Professionell sparas resultaten i en privat Historik i 30 dagar, och du kan radera dem tidigare. På planer utan Historik kan du öppna ett resultat i ungefär en timme efter att det är klart; därefter är det inte längre tillgängligt för dig, och det raderas inom 7 dagar.

Öppna AI-detektornJämför planernaLäs integritetspolicyn