Vad en AI-detektor mäter
En detektor uppskattar hur mycket formuleringarna i en text liknar den AI-skrivna text som den har tränats på.
Språkmodeller tenderar att välja de mest sannolika orden och bygga jämna, välformade meningar. Människor är mindre förutsägbara: de upprepar sig, byter tempo och väljer ord som ingen modell skulle vänta sig. En detektor lär sig den här statistiska skillnaden från ett stort antal exempel.
Två upplägg är vanliga. Det första frågar en annan språkmodell hur förutsägbart varje ord i texten är och ser mycket förutsägbar text som misstänkt. Det måttet kallas perplexitet.
Det andra är en tränad klassificerare. En kodare omvandlar texten till en uppsättning tal, och en klassificerare som har tränats på mänskliga exempel och AI-exempel bedömer de talen. Textumi arbetar på det sättet, med detektormodeller som vi tränar, finjusterar och kör på våra egna servrar. Båda uppläggen utgår enbart från texten.
Vattenmärkning är en annan idé: en modell lämnar ett statistiskt märke i texten medan den skriver, och den som har nyckeln kan leta efter det. Det fungerar bara för modeller som lägger till ett sådant märke, så en detektor som ska kunna läsa vilken text som helst kan inte förlita sig på det.
En detektor kontrollerar inte fakta, bedömer inte argumentationen och slår inte upp din text i ett arkiv med chattbottssvar. Två texter med samma innebörd och olika formuleringar kan få mycket olika resultat.
Varför resultatet är en signal och inte en dom
Mänsklig text och AI-text överlappar. Vissa människor skriver jämnt och förutsägbart, och en modell kan instrueras att skriva ojämnt.
Var tröskeln än dras genom överlappet hamnar en del mänsklig text på AI-sidan och en del AI-text på den mänskliga sidan. Att flytta tröskeln byter bara det ena misstaget mot det andra.
Själva resultatet är lätt att missförstå. Textumi anger det med en av fem etiketter: ”Mänskligt skriven”, ”Mestadels mänsklig”, ”Blandad: människa och AI”, ”Mestadels AI” och ”AI-genererad”. De två första ligger under tröskeln, de tre andra över den. En etikett beskriver hur stilen i hela texten läses, inte sannolikheten för att AI har skrivit den eller hur stor del av texten som har genererats.
Om en annan detektor visar en procentsats är också den en modells uppskattning och förtjänar samma försiktighet.
De här begränsningarna är väldokumenterade. År 2023 drog OpenAI tillbaka sitt eget verktyg för att klassificera AI-text med hänvisning till låg träffsäkerhet, och samma år rapporterade forskare vid Stanford att detektorer oftare flaggade uppsatser av skribenter med annat modersmål än engelska än uppsatser av personer med engelska som modersmål.
Vad omformulering och redigering gör med ett resultat
En detektor bedömer den text den får. När formuleringarna ändras, ändras också resultatet.
När en människa skriver om en AI-genererad text mening för mening finns färre av de mönster som detektorn känner igen kvar. När en AI-assistent putsar en människas text dyker fler av dem upp.
Resultatet blir en blandad text. En detektor som har tränats på rent mänskliga och rent AI-skrivna exempel kan placera den på vilken sida som helst.
Detsamma gäller omformuleringsverktyg, vår egen Humanizer inräknad. Humanizer siktar på naturliga formuleringar som behåller originalets fakta och logik, inte på ett visst resultat. En omskrivning är nya formuleringar, och detektorns resultat handlar om de formuleringarna, inte om var texten kommer ifrån, så en text som en detektor låter passera kan ändå flaggas av en annan.
Omfattande språkgranskning och översättning flyttar också resultaten, ibland mot AI-sidan.
Varför nya modeller är ett rörligt mål
En detektor känner till de modeller vars texter fanns i träningsdatan, så som de modellerna skrev vid den tiden. Text från en nyare eller annan modell kan likna dem eller inte, och det kan bara tester visa.
Textumis detektorer för andra språk än engelska och ukrainska har tränats på text från två välkända AI-modeller. Text från andra modeller ligger utanför de testerna, vilket är ett av skälen till att vi fortsätter att förbättra detektorerna och släpper dem i versioner.
Varför andra språk än engelska är svårare
En modell som har tränats på engelsk text börjar inte av sig själv fungera lika bra på andra språk. Varje språk behöver egna mänskliga texter, egna AI-texter och ett eget test.
Det svåraste är att samla in text som bevisligen är skriven av människor. Mindre språk har mindre av den, så ett träningsunderlag täcker ofta bara några få genrer.
Textumi tränar en separat klassificerare för varje språk. Detektorerna för engelska och ukrainska är de mest grundligt testade. Detektorerna för de övriga språken har tränats och testats på löptext från Wikimedia-projekt och på text från två AI-modeller.
I andra genrer missar några av dessa detektorer många AI-texter, bland annat de för franska, vietnamesiska, turkiska, indonesiska och nederländska. Översatt text är ytterligare en felkälla på alla språk.
Språken och status för vart och ettSå byggs och testas Textumis AI-detektor
Så läser du ett resultat ansvarsfullt
- Läs de markerade avsnitten innan du tittar på etiketten, eftersom de visar var signalen kommer ifrån och låter dig bedöma de raderna själv.
- Tänk på längden. Under 50 ord visar Textumi ”För lite text för att bedöma” i stället för en etikett, och korta texter kräver försiktighet i alla detektorer.
- Tänk på genren och språket. En flaggning av ett formellt brev, eller ett resultat på ett språk som har testats på ett smalare urval av texter, väger lättare än samma resultat för en lång engelsk essä.
- Se ”Mänskligt skriven” och ”Mestadels mänsklig” som uppskattningar. De betyder att detektorn hittade lite som liknar AI, inte att en människa med säkerhet har skrivit texten.
- Samla andra belägg innan du bestämmer något: utkast, versionshistorik och ett samtal med skribenten säger mer om författarskapet än någon detektor.
Vanliga frågor
Är AI-detektorer träffsäkra?
Det beror på texten, och ingen enskild siffra beskriver en detektor ärligt. Resultaten varierar med språket, genren, textens längd och modellen som skrev den. Alla detektorer flaggar ibland mänsklig text och missar AI-text. Därför publicerar vi hur vi testar vår detektor men gör inte reklam för någon träffsäkerhetssiffra.
Kan AI-detektorer upptäcka ChatGPT?
En detektor reagerar på formuleringar, inte på en viss modell. Text från ChatGPT, Claude, Gemini eller någon annan modell kan flaggas om den liknar den AI-text som detektorn har tränats på, och missas om den inte gör det. Textumi avgör inte vilken modell som har skrivit en text och har inte testats modell för modell.
Ändrar omformulering eller redigering en detektors resultat?
Ja. En omskrivning ändrar formuleringarna, och resultatet följer formuleringarna. Det är en begränsning i metoden, inte en garanti åt något håll: redigerad AI-text kan fortfarande flaggas, en omskrivning kan flaggas av en annan detektor, och resultatet visar aldrig att en texts ursprung har ändrats.
Varför bedömer två AI-detektorer samma text olika?
Var och en har tränats på olika mänskliga texter och AI-texter, bedömer formuleringar på sitt eget sätt och sätter sin egen tröskel. En text nära gränsen kan hamna på vilken sida som helst. Att detektorer är oense är normalt, och det är ytterligare ett skäl att se varje resultat som en signal snarare än ett konstaterande.
Fungerar AI-detektorer på korta texter?
Dåligt. Några meningar innehåller för lite underlag för ett stabilt resultat, och en enda ovanlig fras kan flytta det. Textumi tar emot texter från 5 ord, men under 50 ord visas ”För lite text för att bedöma” i stället för en etikett. Kontrollera ett längre avsnitt ur samma dokument när du kan.
Fungerar AI-detektorer på andra språk än engelska?
Vissa gör det, med fler förbehåll. Varje språk behöver egna träningstexter och ett eget test, och de är svårare att samla in utanför engelskan. Textumis detektor fungerar på 20 språk. Engelska och ukrainska är de mest grundligt testade; de övriga har testats på ett smalare urval av texter, och några är svagare i andra genrer.
Vad är perplexitet och burstiness vid AI-detektering?
Perplexitet mäter hur förutsägbar en text är för en språkmodell: ju lägre värde, desto mer förutsägbar text. Burstiness beskriver ojämnhet, hur långa och korta, enkla och komplexa meningar växlar. Vissa detektorer ser låg perplexitet och jämn rytm som tecken på AI. Båda måtten är trubbiga, eftersom formbunden mänsklig text också är förutsägbar. Textumi använder en tränad klassificerare snarare än dessa mått direkt.