Varför flaggades min text som AI? Falska positiva resultat förklarade

Vad ett falskt positivt resultat är

Ett falskt positivt resultat är en text skriven av en människa som en detektor markerar som AI-genererad.

Detektorn vet inte vem som skrev texten. Den poängsätter formuleringarna, jämför poängen med en tröskel och rapporterar allt över tröskeln som en AI-signal. En del mänsklig text hamnar oundvikligen över den.

Ingen inställning löser det. En högre tröskel flaggar färre mänskliga texter men missar mer AI-text, och en lägre gör tvärtom.

Stora företag stöter på samma vägg. År 2023 drog OpenAI tillbaka sin egen klassificerare för AI-text och hänvisade till dess låga träffsäkerhet.

Vems texter som flaggas oftare

Falska positiva resultat drabbar inte alla slags texter lika. Detektorer slår oftast fel på de här:

• Text skriven på ett andraspråk. Forskare vid Stanford rapporterade 2023 att AI-detektorer flaggade uppsatser av skribenter med engelska som andraspråk oftare än uppsatser av personer med engelska som modersmål.
• Formell och formelartad text. Personliga brev i ansökningar, sammanfattningar, affärsmejl och officiella dokument följer fasta mönster, och förutsägbara formuleringar är precis vad en detektor reagerar på.
• Kort text. Några få meningar ger för lite att bedöma, och därför visar Textumi ingen etikett under 50 ord, och ett resultat för en text strax över den gränsen är fortfarande mindre pålitligt.
• Kraftigt putsad text. Grammatikverktyg, översättning och många redigeringsvarv slätar ut de små ojämnheterna i ett verkligt utkast.

Du behöver inte skriva sämre för att verka mänsklig. Men den som läser ett detektorresultat bör veta att en flaggning av sådana texter väger lättare.

Vad ett detektorresultat inte bevisar

En detektor ser bara den färdiga texten. Den ser inte dina anteckningar, dina källor, timmarna du lagt ner eller filens tidigare versioner. Den kan inte skilja en noggrann skribent från en modell som härmar noggrant skrivande.

Ett detektorresultat är ingen sannolikhet. Textumi anger det med en av fem etiketter, från ”Mänskligt skriven” till ”AI-genererad”. Inte ens ”AI-genererad” betyder att texten nästan säkert skrevs av AI, och ”Mestadels AI” betyder inte att en modell skrev de flesta meningarna. En etikett säger bara att formuleringarna i hög grad liknar det som detektorn lärt sig förknippa med AI.

Om en annan detektor visar en procentsats, läs den med samma försiktighet. Även den är en poäng från en modell, inte den andel av texten som har genererats.

Två detektorer kan bedöma samma text olika. De har tränats på olika exempel, och var och en drar sin tröskel på ett annat ställe.

Vad du gör om du anklagas för att ha använt AI

Ett detektorresultat är i sig ett svagt belägg. En dokumentation av hur texten kom till är betydligt starkare. Gå igenom stegen nedan i tur och ordning.

1. Fråga vilken detektor som användes, exakt vad den visade och vilket resultat de som bedömer ditt arbete ser som skäl till misstanke.
2. Samla dina utkast, dispositioner, anteckningar och källor, också de grova versioner som du normalt inte skulle visa någon.
3. Öppna dokumentets versionshistorik. Både Google Docs och Microsoft Word kan registrera hur en text har ändrats över tid, och ett spår av små redigeringar under flera dagar är svårt att ifrågasätta.
4. Erbjud dig att gå igenom arbetet muntligt. När du förklarar ditt resonemang, dina källor och dina val visar du att du är författaren på ett sätt som ingen detektor kan.
5. Be om de skriftliga reglerna för AI-användning och för detektorresultat, och begär att beslutet inte grundas enbart på ett detektorresultat.

Skriv framöver i ett program som sparar versionshistorik och spara dina anteckningar. Det kostar ingenting medan du arbetar, och beläggen är svåra att återskapa i efterhand.

Så sätter Textumi sin tröskel

Textumis detektor är vår egen utveckling: vi tränar och finjusterar dess modeller själva, kör dem på våra egna servrar och fortsätter att förbättra dem. Dess tröskel, den gräns över vilken den rapporterar en AI-signal, är medvetet placerad så att så få mänskliga texter som möjligt flaggas, även om en del AI-text då passerar obemärkt.

För alla språk utom engelska och ukrainska ligger tröskeln där högst två av hundra mänskliga texter flaggas. Vi räknar det på mänskliga texter som modellen inte har lärt sig av.

Den ukrainska tröskeln sattes enligt en tidigare version av samma regel. Den engelska detektorn är en äldre modell med en egen fast tröskel.

Det här är ett val av vilket misstag som ska undvikas, inte ett löfte om träffsäkerhet på din text. Siffrorna kommer från ett slags text, prosa från Wikimedias projekt, så för ett personligt brev eller ett kort mejl kan andelen flaggade mänskliga texter vara högre.

Det finns ett andra skydd. En ny detektorversion för något av dessa språk släpps inte om den flaggar fler än fem av hundra mänskliga texter i testtexter som den aldrig har sett.

Under tröskeln blir etiketten ”Mänskligt skriven” eller ”Mestadels mänsklig”. Även de etiketterna är uppskattningar utifrån stil: Textumi kan inte visa att en människa med säkerhet skrev en text, eftersom en modell inte ser hur den kom till.

Så byggs och testas Textumis AI-detektor

Så läser du ett flaggat resultat i Textumi

Börja med de markerade avsnitten, inte etiketten under visaren. Om signalen kommer från ett formellt stycke i en personlig essä säger den något om det stycket, inte om dig.

För en text under 50 ord visar Textumi ingen etikett, bara ”För lite text för att bedöma”, eftersom en bedömning av så lite text är opålitlig. Kontrollera ett längre avsnitt ur samma dokument: från 50 ord blir uppskattningen säkrare.

Om ett flaggat avsnitt verkligen låter stelt kan du skriva om det själv eller be Humanizer om en mer naturlig version som behåller innebörden. Det ändrar formuleringarna, inte textens historia, och en annan detektor kan ändå flagga den.

Öppna AI-detektorn