Två sorters misstag
En detektor kan ha fel åt två håll. Den kan flagga en text som en människa har skrivit, vilket kallas ett falskt positivt resultat, eller släppa igenom en AI-text, vilket är en miss.
De två misstagen drar åt olika håll. Varje detektor jämför ett värde med en tröskel: sänk tröskeln så fångar den mer AI-text men flaggar fler människor; höj den så flaggar den färre människor men missar mer AI-text. Ingen inställning tar bort båda.
Den första frågan att ställa om en detektor är alltså inte hur träffsäker den är, utan vilket misstag den försöker undvika. När det gäller beslut om människor är ett falskt positivt resultat oftast det mest skadliga.
Även stora företag har stött på det här. År 2023 drog OpenAI tillbaka sitt eget verktyg för att klassificera AI-text med hänvisning till låg träffsäkerhet.
Varför löften om 99 % träffsäkerhet vilseleder
En enda träffsäkerhetssiffra döljer mer än den visar. Den blandar de två sorternas misstag i ett tal, och den beskriver en enda testuppsättning som har valts av den som gjorde testet.
Det är testuppsättningen som betyder mest. En detektor som mäts på råa, oredigerade chattbottssvar på engelska ser mycket bättre ut än samma detektor på korta, redigerade eller översatta texter på ett annat språk.
Små felfrekvenser blir också stora. Anta att en detektor felaktigt flaggar 1 mänsklig text av 100. I en kurs med 300 ärligt skrivna uppsatser blir det ungefär tre studenter som flaggas för arbeten de har skrivit själva.
När du läser ett påstående om träffsäkerhet, leta efter vad som ligger bakom: vilka språk och genrer som testades, hur långa texterna var, om de var redigerade, vem som valde de mänskliga texterna och hur många mänskliga texter som flaggades. Ett påstående utan de uppgifterna säger dig väldigt lite.
Var detektorer har svårt
Detektorer klarar sig sämst på just de texter som människor oftast behöver kontrollera:
- Korta texter. Några få meningar innehåller för lite underlag, och därför visar Textumi ”För lite text för att bedöma” för allt under 50 ord.
- Redigerad, omformulerad eller översatt text. Varje ändring flyttar formuleringarna bort från det som detektorn har lärt sig, åt båda hållen.
- Formell och formbunden text, som sammandrag, personliga brev och officiella skrivelser, som följer mallar som en detektor kan läsa som maskinlika.
- Text på ett andraspråk. Forskare vid Stanford rapporterade 2023 att detektorer oftare flaggade uppsatser av skribenter som inte har engelska som modersmål.
- Språk och genrer som detektorn såg lite av under träningen.
Det sista gäller även Textumi. Våra detektorer för andra språk än engelska och ukrainska har tränats och testats på löptext från Wikimedia. På ett litet urval av andra slags AI-texter, som meddelanden, klagomål och instruktioner, missade detektorerna för franska, vietnamesiska, turkiska och indonesiska de flesta, medan detektorerna för svenska och nederländska missade ungefär hälften.
Varför mänskligt skriven text flaggasSå fungerar AI-detektorer
Så testar du en detektor själv
Det rättvisaste testet är ett som du gör på texter som liknar dina egna. Det tar en timme och säger mer än någon publicerad siffra.
- Samla tio eller fler texter som du vet att en människa har skrivit, på ditt språk och i din genre, helst skrivna innan AI-assistenter blev vanliga.
- Skriv eller generera lika många AI-texter om liknande ämnen och av liknande längd, och redigera några av dem så som människor faktiskt gör.
- Kontrollera varje text med varje detektor som du jämför och anteckna resultatet, utan att ändra något däremellan.
- Räkna separat hur många mänskliga texter som flaggades och hur många AI-texter som missades, och titta på vilka avsnitt varje detektor markerade.
Om en detektor flaggar flera av de texter som du vet är mänskliga, behandla dess resultat för den sortens text med stor försiktighet, vad marknadsföringen än säger.
Så testar Textumi sin egen detektor
Vi publicerar ingen enskild träffsäkerhetssiffra för Textumi, eftersom det inte finns någon ärlig siffra som gäller för alla språk och alla slags texter. I stället publicerar vi den regel som varje detektorversion måste uppfylla.
För andra språk än engelska och ukrainska sätts tröskeln där högst 2 av 100 mänskliga texter som klassificeraren inte har lärt sig av flaggas. Det håller falsklarmen få och innebär att fler AI-texter missas.
Varje version testas en gång på en förseglad uppsättning texter som den aldrig har sett, med villkor för båda sorternas misstag. Varje underkänt test kasseras. Metodsidan beskriver regeln i detalj, det enda språk som Textumi erbjuder genom eget beslut trots att dess test föll strax under gränsen, och vad testerna inte täcker.
Oavsett regel är ett resultat en uppskattning utifrån textens stil. Det är ingen sannolikhet och inget bevis för vem som har skrivit texten.
Vanliga frågor
Är AI-detektorer träffsäkra?
De kan vara användbara, men ingen är tillförlitligt träffsäker på alla texter. Alla detektorer flaggar en del mänsklig text och missar en del AI-text, i varierande grad beroende på textens språk, genre, längd och redigering. Varje resultat bör ses som en signal som kräver sammanhang, inte som ett bevis för vem som är författaren.
Kan en AI-detektor vara 99 % träffsäker?
En detektor kan få ett mycket högt värde på en viss uppsättning texter, men det värdet säger bara något om just de texterna, ofta långa och oredigerade, och det blandar två typer av misstag i ett tal. Samma detektor kan klara sig mycket sämre på korta, redigerade, översatta eller formella texter. Ta därför reda på vad värdet har mätts på.
Vilken AI-detektor är mest träffsäker?
Det finns inget ärligt enkelt svar. Företagen testar på sina egna texter, och siffrorna går inte att jämföra. Den bästa detektorn för dig är den som flaggar färst av de egna texter som du vet är mänskliga och ändå flaggar AI-genererade texter av din typ, så prova några detektorer på dina egna texter.
Hur träffsäker är Textumi?
Vi publicerar ingen enskild siffra eftersom den inte skulle stämma för alla språk och genrer. I stället publicerar vi metoden: för andra språk än engelska och ukrainska tillåter tröskeln högst 2 av 100 flaggade mänskliga texter bland texter som modellen inte har lärt sig av, och varje version måste uppfylla villkor i ett förseglat test. Detaljerna finns på metodsidan.
Varför ger två detektorer olika resultat för samma text?
De har tränats på olika exempel och drar sina trösklar på olika ställen. En text nära gränsen kan hamna på vilken sida som helst, och en detektor kan reagera på formuleringar som en annan ignorerar. Därför säger ett enskilt resultat, från vilken detektor som helst, mindre än man ofta tror.
Ska ett detektorresultat avgöra ett betyg eller ett anställningsbeslut?
Nej. Ett resultat är en statistisk signal om formuleringar och får aldrig vara den enda grunden för ett beslut om en person. Utkast, versionshistorik, källor och ett samtal om arbetet visar författarskap mycket bättre, och de skyddar människor vars ärligt skrivna text råkar se förutsägbar ut.