Детектор ШІ для викладачів: як справедливо користуватися результатом

Що результат детектора може підтвердити, а що ні

Детектор порівнює текст із закономірностями, які засвоїв із людських і машинних текстів, і видає сигнал моделі. Textumi називає результат однією з п’яти позначок: «Написано людиною», «Переважно людина», «Змішано: людина й ШІ», «Переважно ШІ» і «Згенеровано ШІ».

Кожна позначка — оцінка за стилем тексту, а не висновок про те, хто його написав. «Написано людиною» не підтверджує, що текст написала людина, а «Змішано» чи «Переважно ШІ» не показують, яку частку тексту написала машина: цього детектор не вимірює. Жодна позначка не є ймовірністю того, що студент користувався ШІ.

Тож «Написано людиною» нікого не виправдовує, а «Згенеровано ШІ» нікого не звинувачує.

• Результат може підказати, які роботи варто перечитати повільніше й уважніше, ніж інші.
• Результат може вказати на фрагменти, про які варто запитати під час розмови зі студентом.
• Результат не може встановити, хто написав текст, і не повинен бути єдиною підставою для зниження оцінки чи подання про академічну недоброчесність.
• Результат не може розв’язати суперечку: студент не має як заперечити сигнал моделі по суті.

Детектори помиляються в обидва боки: позначають тексти людей і пропускають тексти ШІ. У 2023 році OpenAI відкликала власний класифікатор текстів ШІ через низьку точність. Тому результат будь-якого інструмента варто звіряти з іншими свідченнями.

Справедливий розгляд починається з того, як студент писав

Найвагоміше свідчення авторства — те, як текст з’явився, а цього детектор не бачить. Якщо робота викликає сумнів, пройдіть ці кроки, перш ніж робити висновок.

1. Спершу прочитайте роботу самі й запишіть, що насторожує: змінений голос, неіснуючі джерела, твердження, яких не було в курсі.
2. Порівняйте її з попередніми роботами того самого студента, найкраще з написаними на занятті: словник, довжину речень, типові помилки.
3. Попросіть чернетки, нотатки й план. Документ в онлайн-редакторі зазвичай має історію версій, де видно, як текст зростав годинами чи днями.
4. Поговоріть зі студентом наодинці й без звинувачень. Попросіть пояснити аргумент, розповісти, як він знайшов джерело, чи чому побудував абзац саме так.
5. Запишіть, що ви переглянули і що знайшли, зокрема все, що свідчить на користь студента.
6. Дотримуйтеся процедури закладу й ухвалюйте рішення на підставі всіх свідчень разом, а не одного результату детектора.

Студент, який показує чернетки й упевнено обговорює свою роботу, відповів на питання, яке поставив детектор. Якщо ні, розмова може бути іншою, але висновок тоді спирається на розмову й чернетки, а не на позначку детектора.

Короткі відповіді й тексти нерідною мовою потребують обережності

Короткий текст дає детектору замало матеріалу. Textumi приймає текст від 5 слів, але для тексту до 50 слів замість позначки показує «Замало тексту для висновку», і навіть трохи довша відповідь дає менш надійний результат, ніж ціле есе. Окремо Textumi оцінює лише абзаци від 50 слів, тож відповідь з одного абзацу чи допис на форумі за детектором не оцінити.

Студентів, які пишуть нерідною мовою, детектори хибно позначають частіше. У 2023 році дослідники зі Стенфорда виявили, що детектори частіше вважали згенерованими есе авторів, для яких англійська не рідна. Вужчий словник і одноманітні речення здаються моделі передбачуваними, а саме передбачуваність детектор і сприймає як ознаку машини.

Так само обережно читайте результати для шаблонних жанрів, як-от звітів про лабораторні чи анотацій, а також для перекладених, сильно відредагованих текстів і текстів, написаних частково з чиєюсь допомогою.

Важить і мова. Англійський та український детектори Textumi перевірені найретельніше. Решту вісімнадцяти мов навчали й перевіряли на вужчому наборі текстів. Французька, в’єтнамська, турецька, індонезійська й нідерландська часто пропускають тексти ШІ інших жанрів, тож результат «Написано людиною» чи «Переважно людина» цими мовами мало що означає.

Короткі правила курсу щодо ШІ та детекторів

Студентам легше, коли правила відомі до першого завдання. Одна сторінка, узгоджена з положеннями вашого закладу, може охопити такі пункти.

• Які способи використання ШІ на курсі дозволені, які ні і чи відрізняються правила для різних завдань.
• Як повідомляти про дозволену допомогу ШІ, наприклад короткою приміткою в кінці роботи.
• Прохання зберігати чернетки, нотатки й історію версій до виставлення підсумкових оцінок і пояснення, навіщо це потрібно.
• Що ви можете користуватися детектором, що його результат — сигнал, а не доказ, і що жодне покарання не ґрунтуватиметься лише на ньому.
• Що буде після позначки: розмова наодинці, перегляд чернеток і офіційна процедура лише тоді, коли сумніви лишаються.
• Як студент може висловити незгоду або оскаржити рішення, якщо вважає, що його позначили помилково.

Як перевірити текст у Textumi

1. Увійдіть в обліковий запис Textumi, відкрийте робочий простір і виберіть «Детектор ШІ».
2. Вставте текст або імпортуйте файл DOCX, PDF, ODT, RTF, TXT чи MD розміром до 10 МБ. Текст зі знімка екрана чи фото у форматі PNG або JPEG можна розпізнати, але перегляньте його перед перевіркою.
3. Залиште автоматичне визначення мови або виберіть мову самі, якщо текст короткий чи змішаний.
4. Натисніть «Проаналізувати текст». Одна перевірка приймає до 12 000 символів, тому довгу роботу перевіряйте частинами.
5. Подивіться позначку поруч з оригіналом і підсвічені абзаци. У довгому тексті підсвічування охоплює не всі абзаци.

Детектор — власна розробка Textumi: ми самі створили й налаштували його моделі, а перевірка відбувається на наших серверах і не передає текст зовнішньому постачальникові ШІ. Працювати з ним можна в браузері, у застосунку для macOS на тарифах «Індивідуальний» і «Професійний» або через конектор Textumi просто в розмові з вашим ШІ-асистентом. Ми постійно вдосконалюємо детектор і регулярно додаємо інструменти, які полегшують щоденну роботу з ним.

Скільки слів можна перевірити, залежить від тарифу; усі обсяги наведено на сторінці тарифів. На тарифах «Індивідуальний» і «Професійний» результати 30 днів зберігаються в приватній «Історії», і ви можете видалити їх раніше. На тарифах без «Історії» результат можна відкрити приблизно годину після завершення; потім він вам уже недоступний і видаляється протягом 7 днів.

Відкрити детектор ШІПорівняти тарифиПолітика конфіденційності