Jak działają detektory AI i gdzie zawodzą

Co mierzy detektor AI

Detektor ocenia, na ile sformułowania tekstu przypominają teksty AI, na których go wytrenowano.

Modele językowe chętnie wybierają najbardziej prawdopodobne słowa i budują równe, poprawne zdania. Ludzie piszą mniej przewidywalnie: powtarzają się, zmieniają tempo, sięgają po nieoczekiwane słowa. Tę statystyczną różnicę detektor wychwytuje z dużej liczby przykładów.

Popularne są dwa podejścia. Pierwsze polega na tym, by zapytać inny model językowy, jak przewidywalne jest każde słowo tekstu, i uznać zbyt przewidywalny tekst za podejrzany. Tę miarę nazywa się perpleksją.

Drugie podejście to wytrenowany klasyfikator. Enkoder zamienia tekst na zestaw liczb, a klasyfikator, wytrenowany na przykładach ludzkich i wygenerowanych, ocenia te liczby. Tak działa też Textumi, z własnymi modelami detektora, które trenujemy, dostrajamy i uruchamiamy na naszych serwerach. Oba podejścia opierają się wyłącznie na samym tekście.

Osobną kwestią są znaki wodne: model podczas generowania zostawia w tekście statystyczny ślad, który może sprawdzić posiadacz klucza. Działa to tylko w przypadku modeli, które taki ślad dodają, więc detektor, który ma czytać dowolny tekst, nie może na nich polegać.

Detektor nie sprawdza faktów, nie ocenia argumentacji i nie szuka Twojego tekstu w archiwum odpowiedzi chatbotów. Dwa teksty o tej samej treści, ale innych sformułowaniach mogą dostać zupełnie różne wyniki.

Dlaczego wynik to sygnał, a nie werdykt

Pisanie ludzi i pisanie AI częściowo się pokrywają. Niektórzy piszą równo i przewidywalnie, a model można poprosić, by pisał nierówno.

Gdziekolwiek wyznaczy się próg w tej wspólnej strefie, część tekstów ludzi trafi na stronę AI, a część tekstów AI na stronę ludzi. Przesunięcie progu jedynie zamienia jeden błąd na drugi.

Sam wynik łatwo źle odczytać. Textumi opisuje go jedną z pięciu etykiet: „Napisane przez człowieka”, „Głównie człowiek”, „Mieszane: człowiek i AI”, „Głównie AI” i „Wygenerowane przez AI”. Dwie pierwsze leżą poniżej progu, trzy pozostałe powyżej. Etykieta opisuje, jak brzmi styl całego tekstu, a nie prawdopodobieństwo autorstwa AI ani odsetek wygenerowanego tekstu.

Jeśli inny detektor pokazuje procent, to również ocena modelu i zasługuje na taką samą ostrożność.

Te ograniczenia są dobrze udokumentowane. W 2023 roku OpenAI wycofało własny klasyfikator tekstów AI z powodu niskiej skuteczności, a badacze ze Stanfordu podali w tym samym roku, że detektory częściej oznaczały eseje osób, dla których angielski nie jest językiem ojczystym.

Jak parafrazowanie i redakcja zmieniają wynik

Detektor ocenia tekst, który dostał. Gdy zmieniają się sformułowania, zmienia się też wynik.

Gdy człowiek przepisuje wygenerowany tekst zdanie po zdaniu, zostaje w nim mniej wzorców znanych detektorowi. Gdy asystent AI wygładza tekst człowieka, takich wzorców przybywa.

Powstaje wtedy tekst mieszany. Detektor wytrenowany na tekstach w całości ludzkich i w całości wygenerowanych może go przypisać do dowolnej strony.

To samo dotyczy narzędzi do parafrazowania, w tym naszego Humanizera. Jego celem są naturalne sformułowania, które zachowują fakty i logikę oryginału, a nie konkretny wynik w detektorze. Przepisany tekst to nowe sformułowania, a wynik detektora dotyczy właśnie ich, a nie pochodzenia tekstu, więc tekst, którego jeden detektor nie oznaczył, może oznaczyć inny.

Gruntowna korekta gramatyczna i tłumaczenie też przesuwają wynik, czasem w stronę AI.

Dlaczego nowe modele to ruchomy cel

Detektor zna modele, których teksty były w jego danych treningowych, i to w takiej postaci, w jakiej pisały wtedy. Teksty nowszego lub innego modelu mogą je przypominać albo nie, a rozstrzygnąć to może tylko test.

Detektory Textumi dla języków innych niż angielski i ukraiński wytrenowano na tekstach dwóch popularnych modeli AI. Teksty innych modeli wykraczają poza te testy i to jeden z powodów, dla których stale ulepszamy detektory i wydajemy je w kolejnych wersjach.

Dlaczego języki inne niż angielski są trudniejsze

Model wytrenowany na tekstach angielskich nie zacznie sam z siebie działać równie dobrze w innych językach. Każdy język potrzebuje własnych tekstów ludzi, własnych tekstów AI i osobnego testu.

Najtrudniej zebrać teksty, o których wiadomo na pewno, że napisali je ludzie. W mniejszych językach jest ich mniej, więc zbiór treningowy często obejmuje tylko kilka gatunków.

Textumi trenuje osobny klasyfikator dla każdego języka. Detektory angielski i ukraiński są sprawdzone najdokładniej. Detektory pozostałych języków trenowano i testowano na prozie z projektów Wikimedia oraz na tekstach dwóch modeli AI.

W innych gatunkach część tych detektorów przepuszcza wiele tekstów AI, między innymi francuski, wietnamski, turecki, indonezyjski i niderlandzki. Tekst tłumaczony to w każdym języku dodatkowe źródło błędów.

Języki i stan każdego z nichJak powstał i jak jest testowany detektor AI Textumi

Jak odpowiedzialnie czytać wynik

• Najpierw przeczytaj podświetlone fragmenty, a dopiero potem spójrz na etykietę, bo pokazują, skąd bierze się sygnał, i pozwalają samodzielnie ocenić te zdania.
• Zwróć uwagę na długość. Dla tekstu poniżej 50 słów Textumi pokazuje zamiast etykiety „Za mało tekstu do oceny”, a do krótkich tekstów w każdym detektorze warto podchodzić ostrożnie.
• Zwróć uwagę na gatunek i język. Oznaczenie formalnego pisma albo wynik w języku testowanym na węższym zbiorze tekstów waży mniej niż ten sam wynik dla długiego angielskiego eseju.
• Wyniki „Napisane przez człowieka” i „Głównie człowiek” traktuj jako szacunek. Oznaczają, że detektor znalazł mało oznak AI, a nie że tekst na pewno napisał człowiek.
• Zanim cokolwiek zdecydujesz, zbierz inne dowody: szkice, historia wersji i rozmowa z autorem mówią o autorstwie więcej niż jakikolwiek detektor.

Dlaczego detektory oznaczają teksty ludziOdpowiedzialne korzystanie