Jak powstaje i jak jest testowany detektor AI Textumi

Osobny klasyfikator dla każdego języka

Ukraiński i osiemnaście języków dodanych później korzystają ze wspólnego wielojęzycznego enkodera, czyli modelu, który zamienia tekst na liczby. Enkoder jest zamrożony: jego wagi się nie zmieniają. Nad nim działa niewielki klasyfikator wytrenowany tylko dla jednego języka.

Długi tekst model czyta kolejnymi oknami i łączy wyniki w jedną ocenę całości. Dodatkowo do trzech akapitów liczących co najmniej 50 słów jest ocenianych osobno i to właśnie je detektor podświetla.

Angielski ma starszy, osobny model: własny zamrożony enkoder angielski, klasyfikatory wytrenowane nad nim przez Textumi i drugi model, którego sygnał łączy się z ich sygnałem według stałej reguły.

Tekst zawsze ocenia klasyfikator jego własnego języka. Język bez zatwierdzonego klasyfikatora dostaje komunikat o błędzie, a nie ocenę pożyczoną od innego języka.

Skąd pochodzą teksty treningowe

Teksty ludzi dla osiemnastu języków pochodzą z projektów Wikimedia: wiadomości z Wikinews, artykuły Wikipedii i jej strony dyskusji. Hindi, indonezyjski, wietnamski, hebrajski i duński nie mają Wikinews, więc ich miejsce zajęły podręczniki z Wikibooks.

Każdy tekst to cały akapit prozy liczący od 80 do 280 słów, wzięty z ostatniej wersji strony sprzed 2020 roku. To data świadczy o tym, że napisał go człowiek. Żaden tekst nie został uznany za ludzki dlatego, że tak ocenił inny detektor.

Zalążki artykułów tworzone przez programy i komunikaty powtarzane na wielu stronach są odfiltrowywane. Filtry ograniczają ich liczbę, ale nie są w stanie wyłapać wszystkich.

Każdy tekst człowieka ma odpowiednik napisany przez AI: na ten sam temat, w tym samym gatunku i języku, o podobnej długości. Odpowiedniki napisały dwa popularne modele AI różnych dostawców, każdy dla połowy źródeł. Odpowiedzi urwane, kopiujące źródło albo niebędące zwykłą prozą odrzucono.

Korpus ukraiński jest starszy: składa się z historycznych tekstów Wikimedia i tekstów jednego modelu AI. Teksty użytkowników nie służą do trenowania żadnego detektora.

Zapieczętowany test otwierany raz na wersję

Teksty są grupowane według źródła, tak aby rozdziały jednego podręcznika czy archiwa jednej strony dyskusji trzymały się razem. Grupy dzieli się raz na trzy części: treningową, kalibracyjną i testową. Tekst człowieka i jego odpowiednik AI zawsze trafiają do tej samej części.

Test obejmuje około 200 grup źródeł. Pozostaje zapieczętowany, dopóki trwa wybór klasyfikatora i ustalanie progu, a potem otwiera się go jeden raz.

Jeśli wersja nie przejdzie, ten test nie jest już używany. Jego teksty stają się danymi treningowymi, a kolejną wersję sprawdza się na nowych grupach źródeł, których nie widziała żadna wcześniejsza. Dzięki temu nie możemy dopasowywać klasyfikatora tak długo, aż przypadkiem zda własny egzamin.

Jak ustalane są próg i etykiety wyniku

Dla osiemnastu języków próg ustawia się tam, gdzie oznaczane są najwyżej 2 teksty ludzi na 100. Liczy się to na tekstach ludzi, na których klasyfikator się nie uczył: w pierwszych wersjach na części kalibracyjnej.

Wersje powstałe po 12 października 2026 roku liczą to na wszystkich tekstach spoza testu, a każdy z nich ocenia klasyfikator, który nie widział jego grupy źródeł. Próg zostaje zamrożony, zanim test zostanie otwarty.

Ta reguła świadomie utrzymuje fałszywe alarmy na niskim poziomie i godzi się na to, że więcej tekstów AI zostanie przeoczonych. Nie zamienia ona oceny w prawdopodobieństwo.

Próg każdego klasyfikatora jest przenoszony do punktu 0,5 na skali modelu od 0 do 1 i ten punkt jest granicą sygnału. Na textumi.com ocena jest pokazywana bez liczby: jako wskazówka na skali od „Człowiek” do „AI” i jedna z pięciu etykiet.

Tekst krótszy niż 50 słów nie dostaje etykiety: zamiast niej Textumi pokazuje „Za mało tekstu do oceny”. Każda etykieta to szacunek na podstawie stylu tekstu, a nie zmierzony udział tekstu AI ani dowód autorstwa. Asystent AI połączony przez MCP otrzymuje samą ocenę w postaci liczby.

Poprzeczka, którą wersja musi pokonać przed wydaniem

Wersja dla jednego z osiemnastu języków trafia do użytkowników tylko wtedy, gdy jej test zawiera co najmniej 150 tekstów ludzi i 150 tekstów AI, a na tym teście spełnione są wszystkie trzy warunki:

• oznaczonych zostaje najwyżej 5% tekstów ludzi, więc fałszywych alarmów jest niewiele;
• wykrytych zostaje co najmniej 60% tekstów AI w całym teście;
• w każdej domenie korpusu, czyli w wiadomościach lub podręcznikach, artykułach encyklopedycznych i dyskusjach, wykrytych zostaje co najmniej 50% tekstów AI.

Przed zatwierdzeniem wyeksportowany klasyfikator jest wczytywany tym samym kodem, który obsługuje zapytania, a jego oceny porównuje się z tymi uzyskanymi podczas treningu.

Język, którego wersja nie pokona poprzeczki, nie jest oferowany. Czeski jej nie pokonał, dlatego Textumi nie obsługuje czeskiego.

Jedynym wyjątkiem jest niderlandzki. Jego obecnej wersji niewiele zabrakło: wykryła 59,8% tekstów AI przy wymaganych 60%, a w artykułach encyklopedycznych 49,4% przy wymaganych 50%. Textumi zdecydował się mimo to go udostępnić, a samą regułę pozostawił bez zmian.

Co oznacza wydana wersja

Wydana wersja raz spełniła regułę na prozie Wikimedia i tekstach dwóch modeli AI. To mówi, jak zachowuje się na takim materiale, ale nie gwarantuje skuteczności na innych tekstach i nie daje skalibrowanego prawdopodobieństwa autorstwa.

Detektory angielski i ukraiński działają najdłużej. Klasyfikator ukraiński sprawdzono na 200 tekstach ludzi i 198 tekstach AI z 200 grup źródeł, a model angielski na niewielkim odłożonym zbiorze 80 tekstów ludzi i 20 tekstów AI. Ich oceny również są nieskalibrowanymi sygnałami.

Czego testy nie obejmują

• Inne gatunki. Na niewielkim zbiorze tekstów AI innego rodzaju, takich jak ogłoszenia, skargi i instrukcje, detektory francuski, wietnamski, turecki i indonezyjski przeoczyły większość, a szwedzki i niderlandzki mniej więcej połowę. Portugalskiego, arabskiego, polskiego, niemieckiego, włoskiego, norweskiego (bokmål) i duńskiego nie sprawdzano na innych gatunkach.
• Krótkie teksty. Fragmenty treningowe mają co najmniej 80 słów. Tekst krótszy niż 50 słów nie dostaje etykiety, a wynik dla niewiele dłuższego tekstu też jest mniej wiarygodny w każdym języku.
• Autorstwo mieszane i redagowane. Korpus zawiera teksty w całości ludzkie i w całości wygenerowane, więc zredagowany szkic AI czy starannie wygładzony tekst człowieka leżą poza tym, co sprawdzono.
• Inne modele AI. Teksty AI w korpusie napisały dwa modele, a tekst z jakiegokolwiek innego generatora nie był częścią testu.
• Angielski na dużą skalę. Model angielski sprawdzono na znacznie mniejszym zbiorze niż detektory pozostałych języków.

Dlaczego detektor oznacza teksty ludziJęzyki i stan każdego z nich

Jak zmieniają się wersje

Każdy klasyfikator ma numer wersji. Nowa wersja oznacza nowy podział korpusu i nowy zapieczętowany test, a każda zmiana progu wymaga osobnej walidacji i zapisu wersji.

Textumi stale pracuje nad jakością detektora, a każda nowa wersja przechodzi przez tę samą regułę. Wersję ocenia się wyłącznie na źródłach, których jeszcze nie widziała, a każde wydanie jest osobną decyzją. Gdy zmienia się metoda, razem z nią zmienia się ta strona i jej data.