Як створено й перевірено детектор ШІ Textumi

Окремий класифікатор для кожної мови

Українська та вісімнадцять мов, доданих пізніше, мають спільний багатомовний кодувальник — модель, яка перетворює текст на числа. Кодувальник заморожено: його ваги не змінюються. Над ним працює невеликий класифікатор, навчений лише для однієї мови.

Довгий текст модель читає послідовними вікнами й зводить результати в одну оцінку для всього тексту. Крім того, до трьох абзаців завдовжки від 50 слів оцінюються окремо — саме їх детектор і підсвічує.

Англійська має старішу окрему модель: власний заморожений англійський кодувальник, класифікатори, які Textumi навчив над ним, і другу модель, чий сигнал поєднується з їхнім за незмінним правилом.

Текст завжди оцінює класифікатор його власної мови. Мова без затвердженого класифікатора отримує повідомлення про помилку, а не оцінку, позичену в іншої мови.

Звідки беруться навчальні тексти

Людські тексти для вісімнадцяти мов узято з проєктів Вікімедіа: новини з Вікіновин, статті Вікіпедії та сторінки її обговорень. Для гінді, індонезійської, в’єтнамської, івриту та данської Вікіновин немає, тому їхнє місце посіли підручники з Вікіпідручника.

Кожен текст — це цілий прозовий абзац від 80 до 280 слів з останньої редакції сторінки, зробленої до 2020 року. Саме дата свідчить, що текст написала людина. Жоден текст не позначено людським лише тому, що так вирішив інший детектор.

Заготовки, створені програмами, і оголошення, що повторюються зі сторінки на сторінку, відсіюються. Фільтри зменшують їхню кількість, але прибрати всі до одного не можуть.

Кожен людський текст має ШІ-відповідник на ту саму тему, того самого жанру, тією самою мовою і схожої довжини. Відповідники написали дві поширені ШІ-моделі від різних постачальників, кожна для половини джерел. Обірвані відповіді, копії джерела та все, що не є звичайною прозою, відкинуто.

Український корпус старіший: він складається з історичних текстів Вікімедіа та текстів однієї ШІ-моделі. Тексти користувачів для навчання жодного детектора не використовуються.

Запечатаний тест, який відкривають один раз

Тексти групуються за джерелом, щоб розділи одного підручника чи архіви однієї сторінки обговорення трималися разом. Групи один раз розподіляють на три частини: навчальну, калібрувальну й тестову. Людський текст і його ШІ-відповідник завжди потрапляють в одну частину.

Тест містить близько 200 груп джерел. Поки обирають класифікатор і встановлюють поріг, тест лишається запечатаним, а потім його відкривають один раз.

Якщо версія не проходить, цей тест більше не використовують. Його тексти стають навчальними, а наступну версію перевіряють на нових групах джерел, яких не бачила жодна попередня. Так ми не можемо підганяти класифікатор, доки він випадково не впорається з власним іспитом.

Як установлюють поріг і позначки результату

Для вісімнадцяти мов поріг ставлять там, де позначено щонайбільше 2 людські тексти зі 100. Рахують це на людських текстах, на яких класифікатор не навчався: у перших версіях — на калібрувальній частині.

Версії, створені після 12 жовтня 2026 року, рахують це на всіх текстах поза тестом, і кожен із них оцінює класифікатор, який не бачив його групи джерел. Поріг заморожують до того, як відкривають тест.

Таке правило свідомо робить хибні тривоги рідкісними, хоча через це більше ШІ-текстів лишається непоміченими. Воно не перетворює оцінку на ймовірність.

Поріг кожного класифікатора переносять у точку 0,5 на шкалі моделі від 0 до 1 — це межа сигналу. На textumi.com оцінку показано без числа: стрілка на шкалі від «Людина» до «ШІ» та одна з п’яти позначок.

Текст до 50 слів не отримує позначки: замість неї Textumi показує «Замало тексту для висновку». Кожна позначка лише описує стиль тексту: це не виміряна частка тексту ШІ і не доказ авторства. ШІ-асистент, під’єднаний через MCP, отримує саму оцінку числом.

Планка, яку версія має подолати до випуску

Версію для однієї з вісімнадцяти мов пропонують користувачам, лише якщо її тест містить щонайменше 150 людських і 150 ШІ-текстів і на цьому тесті виконано всі три умови:

• позначено не більш як 5 % людських текстів, тобто хибних тривог мало;
• знайдено щонайменше 60 % ШІ-текстів у всьому тесті разом;
• знайдено щонайменше 50 % ШІ-текстів у кожному домені корпусу: новинах або підручниках, енциклопедичних статтях і обговореннях.

Перед затвердженням експортований класифікатор завантажують тим самим кодом, що обробляє запити, і звіряють його оцінки з отриманими під час навчання.

Мову, версія якої не долає планки, не пропонують. Чеська її не подолала, тож Textumi чеської не підтримує.

Єдиний виняток — нідерландська. Її чинній версії трохи забракло: вона знайшла 59,8 % ШІ-текстів за потрібних 60 %, а в енциклопедичних статтях — 49,4 % за потрібних 50 %. Textumi вирішив усе ж пропонувати її, а саме правило лишив без змін.

Що означає випущена версія

Випущена версія один раз виконала правило на прозі Вікімедіа й текстах двох ШІ-моделей. Це говорить про її поведінку на такому матеріалі, але не гарантує точності на інших текстах і не дає каліброваної ймовірності авторства.

Англійський та український детектори працюють найдовше. Український класифікатор перевірено на 200 людських і 198 ШІ-текстах із 200 груп джерел, англійську модель — на невеликому відкладеному наборі з 80 людських і 20 ШІ-текстів. Їхні оцінки так само є некаліброваними сигналами.

Чого тести не охоплюють

• Інші жанри. На невеликому наборі ШІ-текстів інших видів — оголошень, скарг, інструкцій — детектори французької, в’єтнамської, турецької та індонезійської пропустили більшість, шведської й нідерландської — приблизно половину. Португальську, арабську, польську, німецьку, італійську, норвезьку (букмол) і данську на інших жанрах не перевіряли.
• Короткі тексти. Навчальні уривки мають щонайменше 80 слів. Для тексту до 50 слів Textumi позначки не дає, а результат для ненабагато довшого тексту будь-якою мовою теж менш надійний.
• Змішане й відредаговане авторство. Корпус містить цілком людські й цілком згенеровані тексти, тож відредагована ШІ-чернетка чи ретельно вичитаний людський текст лежать поза перевіреним.
• Інші ШІ-моделі. ШІ-тексти корпусу написали дві моделі, а тексти будь-якого іншого генератора до тесту не входили.
• Англійська на великих обсягах. Англійську модель перевірено на значно меншому наборі, ніж детектори інших мов.

Чому детектор позначає тексти людейМови та стан кожної з них

Як змінюються версії

Кожен класифікатор має номер версії. Нова версія означає новий поділ корпусу й новий запечатаний тест, а будь-яка зміна порога потребує окремої перевірки й запису про версію.

Textumi постійно працює над якістю детектора, і кожна нова версія проходить те саме правило. Версію оцінюють лише на джерелах, яких вона ще не бачила, і кожен випуск — окреме рішення. Коли змінюється метод, разом із ним змінюються ця сторінка та її дата.