Що таке хибне спрацьовування
Хибне спрацьовування — це текст, який написала людина, а детектор позначив як згенерований.
Детектор не знає, хто писав текст. Він оцінює формулювання, порівнює оцінку з порогом і все, що вище порога, показує як сигнал ШІ. Частина людських текстів неминуче опиняється вище.
Налаштуваннями цього не виправити. Вищий поріг означає менше позначених людських текстів, але більше пропущених згенерованих, а нижчий — навпаки.
Із цим стикаються не лише невеликі сервіси. У 2023 році OpenAI відкликала власний класифікатор текстів ШІ, пояснивши це його низькою точністю.
Чиї тексти позначають частіше
Хибні спрацьовування трапляються не з усіма текстами однаково. Найчастіше детектори помиляються на таких:
- Тексти, написані нерідною мовою. У 2023 році дослідники зі Стенфорда повідомили, що детектори ШІ частіше позначали англомовні есе людей, для яких англійська не рідна, ніж есе носіїв мови.
- Офіційні й шаблонні тексти. Супровідні листи, анотації, ділове листування та службові документи пишуть за усталеними зразками, а передбачувані формулювання — саме те, на що реагує детектор.
- Короткі тексти. У кількох реченнях замало матеріалу для надійного висновку, тому для тексту до 50 слів Textumi позначки не показує, а результат для ненабагато довшого тексту теж менш надійний.
- Тексти, які довго шліфували. Перевірка граматики, переклад і численні редагування згладжують нерівності, характерні для живої чернетки.
Писати гірше, щоб здаватися людиною, не потрібно. Але кожен, хто читає результат детектора, має знати: на таких текстах позначка важить менше.
Чого не доводить результат детектора
Детектор бачить лише готовий текст. Він не бачить ваших нотаток, джерел, витраченого часу й попередніх версій файлу. Уважного автора від моделі, яка імітує уважне письмо, він не відрізнить.
Результат детектора — не ймовірність. Textumi називає його однією з п’яти позначок, від «Написано людиною» до «Згенеровано ШІ». Навіть «Згенеровано ШІ» не означає, що текст майже напевно написав ШІ, а «Переважно ШІ» — що модель створила більшість речень. Позначка каже лише, що формулювання дуже схожі на ті, які детектор навчився пов’язувати з ШІ.
Якщо інший детектор показує відсоток, ставтеся до нього так само обережно. Це теж оцінка моделі, а не частка згенерованого тексту.
Два детектори можуть по-різному оцінити той самий текст. Їх навчали на різних прикладах, і поріг кожен проводить у своєму місці.
Що робити, якщо вас звинувачують у використанні ШІ
Сам результат детектора — слабкий доказ. Значно переконливіше те, що показує, як текст створювався. Дійте по черзі.
- Запитайте, яким детектором перевіряли текст, що саме він показав і який результат там, де вас оцінюють, вважають приводом для підозри.
- Зберіть чернетки, плани, нотатки й джерела, зокрема чорнові версії, які ви зазвичай нікому не показуєте.
- Відкрийте історію версій документа. Google Docs і Microsoft Word можуть зберігати, як текст змінювався з часом, а дрібні правки впродовж кількох днів важко заперечити.
- Запропонуйте поговорити про роботу. Коли ви пояснюєте свої аргументи, джерела й рішення, ви показуєте авторство так, як не покаже жоден детектор.
- Попросіть письмові правила щодо ШІ та результатів детекторів і наполягайте, щоб рішення не ґрунтувалося лише на результаті перевірки.
Надалі пишіть у редакторі, який зберігає історію версій, і не викидайте нотаток. Поки ви працюєте, це нічого не коштує, а відновити такі свідчення згодом важко.
Як Textumi встановлює поріг
Детектор Textumi — наша власна розробка: моделі ми навчаємо й налаштовуємо самі, запускаємо на власних серверах і постійно вдосконалюємо. Поріг, від якого детектор показує сигнал ШІ, ми свідомо ставимо так, щоб позначати якомога менше людських текстів, навіть якщо через це частина згенерованих лишається непоміченою.
Для всіх мов, крім англійської та української, поріг стоїть там, де позначається не більше двох людських текстів зі ста. Рахуємо це на людських текстах, на яких модель не навчалася.
Український поріг установлено за попередньою версією цього самого правила. Англійський детектор — старіша модель із власним незмінним порогом.
Це вибір того, якої помилки уникати, а не обіцянка точності на вашому тексті. Підрахунки зроблено на одному виді письма — прозі з проєктів Вікімедіа, тож на супровідному листі чи короткому повідомленні електронною поштою частка позначених людських текстів може бути вищою.
Є й другий запобіжник. Нову версію детектора для будь-якої з цих мов не запускають, якщо на тестових текстах, яких вона раніше не бачила, вона позначає понад п’ять людських текстів зі ста.
Нижче порога результат — «Написано людиною» або «Переважно людина». Це теж оцінки за стилем: Textumi не може показати, що текст точно написала людина, бо модель не бачить, як його створювали.
Як читати позначений результат у Textumi
Почніть із підсвічених фрагментів, а не з позначки під стрілкою. Якщо сигнал дає один офіційний абзац в особистому есе, це говорить про цей абзац, а не про вас.
Для тексту до 50 слів Textumi не показує позначки, лише «Замало тексту для висновку»: на такому обсязі висновок ненадійний. Перевірте довший уривок того самого документа — від 50 слів оцінка надійніша.
Якщо позначений фрагмент справді звучить скуто, перепишіть його самі або попросіть гуманізатор запропонувати природніший варіант зі збереженням змісту. Так зміняться формулювання, але не історія створення тексту, а інший детектор однаково може його позначити.
Поширені запитання
Чи може детектор ШІ помилятися?
Так. Кожен детектор ШІ інколи позначає людські тексти й пропускає згенеровані, бо оцінює лише формулювання і не бачить, як текст створювався. Textumi пише про це поруч із результатом: його позначка — оцінка за стилем тексту, а не вердикт про те, хто автор.
Чому мій власний текст позначили як ШІ?
Найчастіше тому, що він короткий, офіційний, написаний нерідною мовою або багато разів відредагований. У таких текстах формулювання передбачувані, а саме їх детектори пов’язують із ШІ. Позначка описує слова на сторінці і нічого певного не каже про те, як ви працювали.
Чи може результат детектора довести, що я користувався ШІ?
Ні. Результат детектора — статистичний сигнал, а не свідчення про ваші дії. Він не повинен бути єдиною підставою для рішення про оцінку, роботу чи публікацію. Чернетки, історія версій і розмова про текст говорять про авторство значно більше.
Чи спричиняють хибні спрацьовування сервіси перевірки граматики та перекладачі?
Можуть. Ретельна правка і переклад замінюють особисті, нерівні формулювання гладкими й стандартними, а перекладені та сильно відредаговані тексти детектори помилково позначають особливо часто. Якщо ви користувалися такими сервісами, скажіть про це відкрито і збережіть версію, написану до них.
Як показати, що я написав текст сам?
Покажіть, як ви працювали. Історія версій у Google Docs чи Microsoft Word, ранні чернетки, плани й нотатки фіксують, як текст розвивався. Запропонуйте обговорити свої аргументи й джерела. Результат ще одного детектора мало що додасть: детектори часто не погоджуються між собою.
Як часто Textumi позначає людські тексти?
Одного числа ми не публікуємо: воно залежить від мови, жанру й довжини тексту. Можемо назвати правило: для всіх мов, крім англійської та української, поріг стоїть там, де позначається не більше двох зі ста людських текстів, на яких модель не навчалася. На ваших текстах ця частка може бути іншою.
Чи варто викладачам покладатися на результат детектора ШІ?
Лише на нього — ні. Результат може стати приводом для розмови й показати фрагменти, які варто обговорити, але не може встановити, що студент користувався ШІ. Тих, хто пише нерідною мовою або офіційним стилем, детектори позначають частіше, тож рішення лише за результатом перевірки було б до них несправедливим.