Як працюють детектори ШІ і де вони помиляються

Що вимірює детектор ШІ

Детектор оцінює, наскільки формулювання тексту схожі на згенеровані тексти, на яких його навчали.

Мовні моделі схильні обирати найімовірніші слова й будувати рівні, правильні речення. Люди пишуть менш передбачувано: повторюються, змінюють темп, несподівано добирають слова. Цю статистичну різницю детектор засвоює з великої кількості прикладів.

Поширені два підходи. Перший — запитати іншу мовну модель, наскільки передбачуване кожне слово тексту, і вважати надто передбачуваний текст підозрілим. Цю міру називають перплексією.

Другий підхід — навчений класифікатор. Кодувальник перетворює текст на набір чисел, а класифікатор, навчений на людських і згенерованих прикладах, оцінює ці числа. Так працює і Textumi — з власними моделями детектора, які ми навчаємо, налаштовуємо й запускаємо на своїх серверах. Обидва підходи спираються лише на сам текст.

Окремо стоять водяні знаки: модель під час генерації залишає в тексті статистичну позначку, яку може перевірити власник ключа. Це працює лише для моделей, які такі позначки додають, тож детектор, що має читати будь-який текст, покладатися на них не може.

Детектор не перевіряє фактів, не оцінює аргументів і не шукає ваш текст в архіві відповідей чат-ботів. Два тексти з однаковим змістом, але різними формулюваннями можуть отримати зовсім різні результати.

Чому результат — сигнал, а не вердикт

Людське й машинне письмо перетинаються. Дехто пише рівно й передбачувано, а модель можна попросити писати нерівно.

Хоч би де провести поріг у цій спільній зоні, частина людських текстів опиниться на боці ШІ, а частина згенерованих — на боці людей. Пересунути поріг означає лише обміняти одну помилку на іншу.

Сам результат легко прочитати неправильно. Textumi називає його однією з п’яти позначок: «Написано людиною», «Переважно людина», «Змішано: людина й ШІ», «Переважно ШІ» і «Згенеровано ШІ». Перші дві лежать під порогом, решта три — над ним. Позначка описує, як читається стиль усього тексту, а не ймовірність авторства ШІ чи частку згенерованого тексту.

Якщо інший детектор показує відсоток, це теж оцінка моделі, і читати її варто так само обережно.

Ці обмеження добре відомі. У 2023 році OpenAI відкликала власний класифікатор текстів ШІ через низьку точність, а дослідники зі Стенфорда того ж року повідомили, що детектори частіше позначали есе людей, для яких англійська не рідна.

Як перефразування й редагування змінюють результат

Детектор оцінює той текст, який отримав. Змінюються формулювання — змінюється й результат.

Коли людина переписує згенерований текст речення за реченням, у ньому лишається менше закономірностей, знайомих детектору. Коли ШІ-асистент шліфує текст людини, таких закономірностей стає більше.

Так виникає змішаний текст. Детектор, навчений на суто людських і суто згенерованих прикладах, може віднести його до будь-якого боку.

Те саме стосується інструментів для перефразування, зокрема нашого гуманізатора. Його мета — природні формулювання, що зберігають факти й логіку оригіналу, а не певне число в детекторі. Переписаний текст — це нові формулювання, і результат детектора стосується саме їх, а не походження тексту, тож текст, який не позначив один детектор, може позначити інший.

Ретельна правка граматики й переклад теж зсувають результат, інколи в бік ШІ.

Чому нові моделі — рухома мішень

Детектор знає ті моделі, чиї тексти були в його навчальних даних, і такими, якими вони були на час навчання. Тексти новішої чи іншої моделі можуть бути схожими на них, а можуть і ні, і з’ясувати це можна лише перевіркою.

Детектори Textumi для мов, крім англійської та української, навчено на текстах двох поширених ШІ-моделей. На тексти інших моделей ці перевірки не поширюються, і це одна з причин, чому ми постійно вдосконалюємо детектори й випускаємо їх версіями.

Чому з іншими мовами, крім англійської, складніше

Модель, навчена на англійських текстах, не почне сама собою так само працювати з іншими мовами. Для кожної мови потрібні власні людські тексти, власні згенеровані тексти й окрема перевірка.

Найважче зібрати тексти, про які точно відомо, що їх написали люди. Для менших мов таких текстів менше, тож навчальний набір часто охоплює лише кілька жанрів.

Textumi навчає окремий класифікатор для кожної мови. Англійський та український детектори перевірені найретельніше. Детектори решти мов навчали й перевіряли на прозі з проєктів Вікімедіа та текстах двох ШІ-моделей.

На текстах інших жанрів деякі з цих детекторів пропускають багато згенерованого, зокрема французький, в’єтнамський, турецький, індонезійський і нідерландський. Перекладений текст будь-якою мовою — ще одне джерело помилок.

Мови та стан кожної з нихЯк створено й перевірено детектор ШІ Textumi

Як відповідально читати результат

• Спершу прочитайте підсвічені фрагменти, а вже потім дивіться на позначку: вони показують, звідки береться сигнал, і дають змогу самостійно оцінити ці рядки.
• Зважте на довжину. Для тексту до 50 слів Textumi замість позначки показує «Замало тексту для висновку», а до коротких текстів у будь-якому детекторі варто ставитися обережно.
• Зважте на жанр і мову. Позначка на офіційному листі чи результат мовою, яку перевіряли на вужчому наборі текстів, важить менше, ніж той самий результат на довгому англійському есе.
• Сприймайте «Написано людиною» і «Переважно людина» як оцінки. Вони означають, що детектор знайшов мало ознак ШІ, а не що текст точно написала людина.
• Перш ніж ухвалювати рішення, зберіть інші свідчення: чернетки, історія версій і розмова з автором говорять про авторство більше, ніж будь-який детектор.

Чому детектор позначає тексти людейВідповідальне використання