Dwa rodzaje błędów
Detektor może się pomylić w dwie strony. Może oznaczyć tekst napisany przez człowieka, czyli dać fałszywy alarm, albo przepuścić tekst AI, czyli go przeoczyć.
Te dwa błędy ciągną w przeciwne strony. Każdy detektor porównuje wynik z progiem: niższy próg wyłapie więcej tekstów AI, ale oznaczy więcej ludzi, a wyższy oznaczy mniej ludzi, ale przepuści więcej tekstów AI. Żadne ustawienie nie usuwa obu błędów naraz.
Pierwsze pytanie o każdy detektor nie brzmi więc, jak bardzo jest dokładny, lecz którego błędu stara się unikać. Gdy chodzi o decyzje dotyczące ludzi, bardziej szkodliwy jest zwykle fałszywy alarm.
Z tym problemem zderzyły się nawet duże firmy. W 2023 roku OpenAI wycofało własny klasyfikator tekstów AI, powołując się na jego niską skuteczność.
Dlaczego obietnice 99% skuteczności wprowadzają w błąd
Jedna liczba skuteczności więcej ukrywa, niż pokazuje. Łączy oba rodzaje błędów w jeden wskaźnik i opisuje jeden zbiór testowy, wybrany przez tego, kto przeprowadzał test.
To właśnie zbiór testowy znaczy najwięcej. Detektor mierzony na surowych, niezredagowanych odpowiedziach chatbota po angielsku wypadnie znacznie lepiej niż ten sam detektor na krótkich, zredagowanych lub tłumaczonych tekstach w innym języku.
Małe odsetki błędów też się sumują. Załóżmy, że detektor błędnie oznacza 1 tekst człowieka na 100. Na zajęciach, na których powstaje 300 uczciwie napisanych esejów, oznacza to mniej więcej troje studentów oznaczonych za pracę, którą napisali sami.
Czytając zapewnienia o skuteczności, sprawdź, co za nimi stoi: jakie języki i gatunki testowano, jak długie były teksty, czy je redagowano, kto wybrał teksty ludzi i ile z nich zostało oznaczonych. Zapewnienie bez tych szczegółów mówi bardzo niewiele.
Gdzie detektory zawodzą
Detektory radzą sobie najgorzej z tekstami, które ludzie najczęściej muszą sprawdzać:
- Krótkie teksty. Kilka zdań to za mało materiału, dlatego dla każdego tekstu poniżej 50 słów Textumi pokazuje „Za mało tekstu do oceny”.
- Teksty zredagowane, sparafrazowane lub przetłumaczone. Każda zmiana oddala sformułowania od tego, czego nauczył się detektor, i może go zmylić w obie strony.
- Teksty formalne i szablonowe, takie jak streszczenia, listy motywacyjne i pisma urzędowe, które trzymają się wzorców odbieranych przez detektor jako maszynowe.
- Teksty pisane w języku obcym. Badacze ze Stanfordu podali w 2023 roku, że detektory częściej oznaczały eseje osób, dla których angielski nie jest językiem ojczystym.
- Języki i gatunki, których detektor podczas uczenia widział niewiele, wypadają wyraźnie gorzej.
Ten ostatni punkt odnosi się również do Textumi. Nasze detektory dla języków innych niż angielski i ukraiński trenowano i testowano na prozie z projektów Wikimedia. Na niewielkim zbiorze tekstów AI innego rodzaju, takich jak ogłoszenia, reklamacje i instrukcje, detektory dla francuskiego, wietnamskiego, tureckiego i indonezyjskiego przeoczyły większość z nich. Detektory dla szwedzkiego i niderlandzkiego przeoczyły mniej więcej połowę.
Dlaczego detektory oznaczają teksty ludziJak działają detektory AI
Jak samodzielnie przetestować detektor
Najuczciwszy test to taki, który przeprowadzisz na tekstach podobnych do Twoich. Zajmuje godzinę i mówi więcej niż jakakolwiek opublikowana liczba.
- Zbierz co najmniej dziesięć tekstów, o których wiesz, że napisał je człowiek, w Twoim języku i gatunku, najlepiej sprzed czasów, gdy asystenci AI stali się powszechni.
- Napisz lub wygeneruj tyle samo tekstów AI na podobne tematy i o podobnej długości, a kilka z nich zredaguj tak, jak ludzie robią to naprawdę.
- Sprawdź każdy tekst każdym porównywanym detektorem i zapisz wynik, niczego w międzyczasie nie zmieniając.
- Policz osobno, ile tekstów ludzi zostało oznaczonych, a ile tekstów AI przeoczonych, i zobacz, które fragmenty zaznaczył każdy detektor.
Jeśli detektor oznacza kilka tekstów, o których wiesz, że napisali je ludzie, traktuj jego wyniki dla tego rodzaju tekstów z dużą ostrożnością, bez względu na to, co obiecuje jego reklama.
Jak Textumi testuje własny detektor
Nie publikujemy jednej liczby skuteczności Textumi, bo uczciwej liczby dla każdego języka i każdego rodzaju tekstu po prostu nie ma. Publikujemy za to zasadę, którą musi spełnić każda wersja detektora.
Dla języków innych niż angielski i ukraiński próg leży tam, gdzie oznaczane są najwyżej 2 na 100 tekstów ludzi, na których klasyfikator się nie uczył. Dzięki temu fałszywe alarmy są rzadkie, za cenę tego, że więcej tekstów AI przechodzi niezauważonych.
Każda wersja jest następnie sprawdzana tylko raz, na zamkniętym zbiorze tekstów, których nigdy nie widziała, przy warunkach dotyczących obu rodzajów błędów. Nieudany test nigdy nie jest wykorzystywany ponownie. Na stronie metodologii opisano tę zasadę, a także jeden język, który Textumi udostępnia z własnej decyzji, choć jego test minimalnie nie spełnił warunków, oraz to, czego testy nie obejmują.
Niezależnie od zasady wynik to szacunek na podstawie stylu tekstu. Nie jest prawdopodobieństwem ani dowodem tego, kto napisał tekst.
Częste pytania
Czy detektory AI są wiarygodne?
Bywają przydatne, ale żaden nie jest niezawodny dla każdego tekstu. Każdy detektor oznacza część tekstów ludzi i przepuszcza część tekstów AI, a to, jak często, zależy od języka, gatunku, długości i redakcji tekstu. Traktuj każdy wynik jako sygnał, który wymaga kontekstu, a nigdy jako dowód autorstwa.
Czy detektor AI może mieć 99% skuteczności?
Na konkretnym zbiorze testowym detektor może uzyskać bardzo wysoki wynik. Ta liczba mówi jednak tylko o tych tekstach, często długich i niezredagowanych, i łączy w jednym wskaźniku dwa różne błędy. Ten sam detektor może natomiast wypaść znacznie gorzej na krótkich, zredagowanych, przetłumaczonych albo formalnych tekstach. Pytaj więc, na czym tę liczbę zmierzono.
Który detektor AI jest najdokładniejszy?
Jednej uczciwej odpowiedzi na to nie ma. Każda firma testuje detektor na własnych tekstach, a wyników nie da się ze sobą porównać. U Ciebie najlepiej sprawdzi się ten detektor, który oznacza najmniej Twoich tekstów napisanych na pewno przez człowieka i jednocześnie wykrywa teksty AI Twojego rodzaju. Przetestuj więc kilka na własnym materiale.
Jaka jest skuteczność Textumi?
Nie publikujemy jednej liczby, bo nie byłaby miarodajna dla każdego języka i gatunku. Zamiast tego publikujemy metodę: dla języków innych niż angielski i ukraiński próg dopuszcza najwyżej 2 oznaczone teksty ludzi na 100, liczone na tekstach, na których model się nie uczył. Każda wersja musi spełnić warunki zamkniętego testu. Szczegóły znajdziesz na stronie metodologii.
Dlaczego dwa detektory dają różne wyniki dla tego samego tekstu?
Uczyły się na innych przykładach i wyznaczają progi w innych miejscach. Tekst blisko granicy może wylądować po dowolnej stronie, a jeden detektor może reagować na sformułowania, które inny pomija. Dlatego pojedynczy wynik, z dowolnego detektora, mówi mniej, niż ludzie często zakładają.
Czy wynik detektora powinien decydować o ocenie albo o zatrudnieniu?
Nie. Wynik to statystyczny sygnał o sformułowaniach i nigdy nie powinien być jedyną podstawą decyzji o człowieku. Wersje robocze, historia wersji, źródła i rozmowa o pracy znacznie lepiej pokazują autorstwo, a przy tym chronią osoby, których uczciwie napisany tekst akurat wydaje się przewidywalny.