Dlaczego detektor AI oznaczył mój tekst? Fałszywe alarmy bez tajemnic

Czym jest fałszywy alarm

Fałszywy alarm to tekst napisany przez człowieka, który detektor uznał za wygenerowany przez AI.

Detektor nie wie, kto napisał tekst. Ocenia sformułowania, porównuje wynik z progiem i wszystko powyżej progu pokazuje jako sygnał AI. Część tekstów pisanych przez ludzi nieuchronnie trafia ponad próg.

Żadne ustawienie tego nie naprawi. Wyższy próg oznacza mniej oznaczonych tekstów ludzi, ale więcej przepuszczonych tekstów AI, a niższy działa odwrotnie.

Z tym problemem mierzą się nie tylko małe serwisy. W 2023 roku OpenAI wycofało własny klasyfikator tekstów AI, powołując się na jego niską skuteczność.

Czyje teksty są oznaczane częściej

Fałszywe alarmy nie dotykają wszystkich tekstów jednakowo. Detektory mylą się najczęściej przy takich:

• Teksty pisane w języku obcym. Badacze ze Stanfordu podali w 2023 roku, że detektory AI częściej oznaczały eseje osób, dla których angielski nie jest językiem ojczystym, niż eseje rodzimych użytkowników.
• Teksty formalne i szablonowe. Listy motywacyjne, streszczenia, korespondencja służbowa i pisma urzędowe trzymają się utartych wzorców, a przewidywalne sformułowania to właśnie to, na co reaguje detektor.
• Krótkie teksty. Kilka zdań to za mało, by coś rzetelnie ocenić, dlatego dla tekstu poniżej 50 słów Textumi nie pokazuje etykiety, a wynik dla niewiele dłuższego tekstu też jest mniej wiarygodny.
• Teksty mocno dopracowane. Korekta gramatyczna, tłumaczenie i wiele rund poprawek wygładzają drobne nierówności, po których poznaje się prawdziwy szkic.

Nie musisz pisać gorzej, żeby wyglądać na człowieka. Każdy, kto czyta wynik detektora, powinien jednak wiedzieć, że przy takich tekstach oznaczenie waży mniej.

Czego wynik detektora nie dowodzi

Detektor widzi tylko gotowy tekst. Nie widzi Twoich notatek, źródeł, godzin pracy ani wcześniejszych wersji pliku. Nie odróżni starannego autora od modelu, który naśladuje staranne pisanie.

Wynik detektora nie jest prawdopodobieństwem. Textumi opisuje go jedną z pięciu etykiet, od „Napisane przez człowieka” do „Wygenerowane przez AI”. Nawet „Wygenerowane przez AI” nie znaczy, że tekst prawie na pewno napisała AI, a „Głównie AI” nie znaczy, że model stworzył większość zdań. Etykieta mówi tylko, że sformułowania mocno przypominają te, które detektor nauczył się kojarzyć z AI.

Jeśli inny detektor pokazuje procent, traktuj go z taką samą ostrożnością. To również ocena modelu, a nie odsetek wygenerowanego tekstu.

Dwa detektory mogą różnie ocenić ten sam tekst. Uczyły się na innych przykładach i każdy wyznacza próg w innym miejscu.

Co zrobić, gdy ktoś zarzuca Ci użycie AI

Sam wynik detektora to słaby dowód. O wiele mocniejsze jest to, co pokazuje, jak tekst powstawał. Przejdź przez te kroki po kolei.

1. Zapytaj, jakim detektorem sprawdzono tekst, co dokładnie pokazał i jaki wynik osoby oceniające Twoją pracę uznają za powód do podejrzeń.
2. Zbierz szkice, plany, notatki i źródła, także robocze wersje, których zwykle nikomu nie pokazujesz.
3. Otwórz historię wersji dokumentu. Google Docs i Microsoft Word potrafią zapisywać, jak tekst zmieniał się w czasie, a ślad drobnych poprawek z kilku dni trudno podważyć.
4. Zaproponuj rozmowę o pracy. Gdy wyjaśniasz swoje argumenty, źródła i decyzje, pokazujesz autorstwo tak, jak nie pokaże tego żaden detektor.
5. Poproś o pisemne zasady dotyczące AI i wyników detektorów oraz o to, by decyzja nie opierała się wyłącznie na wyniku detektora.

Przy kolejnych pracach pisz w edytorze, który zapisuje historię wersji, i zachowuj notatki. W trakcie pracy nic to nie kosztuje, a odtworzyć takie dowody później jest trudno.

Jak Textumi ustala próg

Detektor Textumi to nasze własne rozwiązanie: modele trenujemy i dostrajamy sami, uruchamiamy na własnych serwerach i stale ulepszamy. Próg, od którego pokazuje on sygnał AI, celowo ustawiamy tak, by oznaczać jak najmniej tekstów ludzi, nawet jeśli przez to część tekstów AI przechodzi niezauważona.

Dla wszystkich języków innych niż angielski i ukraiński próg leży tam, gdzie oznaczane są najwyżej dwa na sto tekstów ludzi. Liczymy to na tekstach ludzi, na których model się nie uczył.

Próg dla ukraińskiego ustalono według wcześniejszej wersji tej samej zasady. Detektor angielski to starszy model z własnym, stałym progiem.

To wybór, którego błędu unikać, a nie obietnica trafności dla Twojego tekstu. Pomiary dotyczą jednego rodzaju pisania, prozy z projektów Wikimedia, więc przy liście motywacyjnym czy krótkim e-mailu odsetek oznaczonych tekstów ludzi może być wyższy.

Jest też drugie zabezpieczenie. Nowa wersja detektora dla któregokolwiek z tych języków nie zostaje udostępniona, jeśli na tekstach testowych, których wcześniej nie widziała, oznacza więcej niż pięć na sto tekstów ludzi.

Poniżej progu wynik to „Napisane przez człowieka” albo „Głównie człowiek”. To także szacunek na podstawie stylu: Textumi nie potrafi wykazać, że tekst na pewno napisał człowiek, bo model nie widzi, jak tekst powstał.

Jak powstał i jak jest testowany detektor AI Textumi

Jak czytać oznaczony wynik w Textumi

Zacznij od podświetlonych fragmentów, a nie od etykiety pod wskazówką. Jeśli sygnał pochodzi z jednego formalnego akapitu w osobistym eseju, mówi coś o tym akapicie, a nie o Tobie.

Dla tekstu poniżej 50 słów Textumi nie pokazuje etykiety, tylko „Za mało tekstu do oceny”, bo ocena tak krótkiego tekstu jest niewiarygodna. Sprawdź dłuższy fragment tego samego dokumentu: od 50 słów ocena jest bardziej wiarygodna.

Jeśli oznaczony fragment naprawdę brzmi sztywno, popraw go sam albo poproś Humanizer o bardziej naturalną wersję z zachowaniem treści. Zmienią się sformułowania, ale nie historia powstania tekstu, a inny detektor nadal może go oznaczyć.

Otwórz detektor AI