Detektor AI dla nauczycieli: jak uczciwie korzystać z wyniku

Co wynik detektora może potwierdzić, a czego nie

Detektor porównuje tekst ze wzorcami, których nauczył się z tekstów ludzi i maszyn, i zwraca sygnał modelu. Textumi opisuje wynik jedną z pięciu etykiet: „Napisane przez człowieka”, „Głównie człowiek”, „Mieszane: człowiek i AI”, „Głównie AI” i „Wygenerowane przez AI”.

Każda etykieta to szacunek na podstawie stylu tekstu, a nie ustalenie, kto go napisał. „Napisane przez człowieka” nie potwierdza, że tekst napisał człowiek, a „Mieszane” czy „Głównie AI” nie pokazuje, jaką część tekstu napisała maszyna: detektor tego nie mierzy. Żadna etykieta nie jest prawdopodobieństwem, że student korzystał z AI.

Wynik „Napisane przez człowieka” nikogo więc nie oczyszcza, a „Wygenerowane przez AI” nikogo nie obciąża.

• Wynik może pomóc zdecydować, które prace warto przeczytać wolniej i uważniej niż pozostałe.
• Wynik może wskazać fragmenty, o które warto zapytać w rozmowie ze studentem.
• Wynik nie ustali, kto napisał tekst, i nie powinien być jedyną podstawą obniżenia oceny ani zgłoszenia naruszenia zasad.
• Wynik nie rozstrzygnie sporu, bo student nie ma jak merytorycznie polemizować z sygnałem modelu.

Detektory mylą się w obie strony: oznaczają teksty ludzi i przepuszczają teksty AI. W 2023 roku OpenAI wycofało własny klasyfikator tekstów AI, podając jako powód niską trafność. Wynik każdego narzędzia trzeba więc konfrontować z innymi dowodami.

Uczciwe wyjaśnienie zaczyna się od tego, jak student pisał

Najmocniejszym dowodem autorstwa jest to, jak tekst powstał, a tego detektor w ogóle nie widzi. Jeśli praca budzi wątpliwości, przejdź przez poniższe kroki, zanim wyrobisz sobie zdanie.

1. Najpierw przeczytaj pracę sam i zanotuj, co Cię niepokoi: zmianę stylu, nieistniejące źródła, tezy, których nie było na zajęciach.
2. Porównaj ją z wcześniejszymi pracami tego samego studenta, najlepiej pisanymi na zajęciach: słownictwo, długość zdań, typowe błędy.
3. Poproś o wersje robocze, notatki i konspekt. Dokument pisany w edytorze online zwykle ma historię wersji, w której widać, jak tekst rósł przez godziny lub dni.
4. Porozmawiaj ze studentem w cztery oczy i bez oskarżeń. Poproś, żeby wyjaśnił tok rozumowania, opowiedział, jak znalazł źródło, albo powiedział, dlaczego zbudował akapit właśnie tak.
5. Zapisz, co sprawdziłeś i co ustaliłeś, łącznie ze wszystkim, co przemawia na korzyść studenta.
6. Postępuj zgodnie z procedurą uczelni i decyduj na podstawie wszystkich dowodów razem, a nie jednego wyniku detektora.

Student, który pokazuje wersje robocze i swobodnie omawia swoją pracę, odpowiedział na pytanie postawione przez detektor. Jeśli nie potrafi, rozmowa może pójść w innym kierunku, ale wniosek opiera się wtedy na niej i na wersjach roboczych, a nie na etykiecie detektora.

Krótkie odpowiedzi i teksty w obcym języku wymagają ostrożności

Krótki tekst daje detektorowi bardzo mało materiału. Textumi przyjmuje teksty od 5 słów, ale poniżej 50 słów pokazuje zamiast etykiety „Za mało tekstu do oceny”, a nawet nieco dłuższa odpowiedź daje mniej wiarygodny wynik niż cały esej. Osobno Textumi ocenia tylko akapity liczące co najmniej 50 słów, więc krótkiej odpowiedzi czy wpisu na forum nie da się ocenić detektorem.

Studenci piszący w obcym języku są częściej oznaczani błędnie. W 2023 roku badacze ze Stanfordu ustalili, że detektory częściej uznawały za wygenerowane eseje osób, dla których angielski nie jest językiem ojczystym. Uboższe słownictwo i regularne zdania wydają się modelowi przewidywalne, a właśnie przewidywalność detektor odczytuje jako ślad maszyny.

Z tą samą ostrożnością podchodź do gatunków schematycznych, takich jak sprawozdania z laboratorium i streszczenia, oraz do tekstów tłumaczonych, mocno redagowanych lub pisanych częściowo z czyjąś pomocą.

Znaczenie ma też język. Detektory angielski i ukraiński w Textumi są sprawdzone najdokładniej. Pozostałe osiemnaście języków uczono i testowano na węższym zbiorze tekstów. Francuski, wietnamski, turecki, indonezyjski i niderlandzki często przepuszczają teksty AI z innych gatunków, więc wynik „Napisane przez człowieka” albo „Głównie człowiek” w tych językach niewiele znaczy.

Krótkie zasady zajęć dotyczące AI i detektorów

Studentom łatwiej, gdy znają zasady przed pierwszym zadaniem. Jedna strona zgodna z regulaminem Twojej uczelni może objąć poniższe punkty.

• Jakie zastosowania AI są na zajęciach dozwolone, jakie nie i czy odpowiedź zmienia się w zależności od zadania.
• Jak informować o dozwolonej pomocy AI, na przykład krótką notką na końcu pracy.
• Prośbę o zachowanie wersji roboczych, notatek i historii wersji do wystawienia ocen końcowych, razem z wyjaśnieniem, po co.
• Informację, że możesz korzystać z detektora, że jego wynik to sygnał, a nie dowód, i że żadna kara nie będzie opierać się wyłącznie na nim.
• Co dzieje się po oznaczeniu: rozmowa w cztery oczy, przejrzenie wersji roboczych i formalna procedura tylko wtedy, gdy wątpliwości pozostaną.
• Jak student może zgłosić zastrzeżenia lub się odwołać, jeśli uważa, że oznaczono go niesłusznie.

Jak sprawdzić tekst w Textumi

1. Zaloguj się na swoje konto Textumi, otwórz obszar roboczy i wybierz „Detektor AI”.
2. Wklej tekst albo zaimportuj plik DOCX, PDF, ODT, RTF, TXT lub MD o rozmiarze do 10 MB. Tekst ze zrzutu ekranu lub zdjęcia w formacie PNG albo JPEG można rozpoznać, ale przejrzyj go przed sprawdzeniem.
3. Zostaw automatyczne rozpoznawanie języka albo wybierz go sam, jeśli tekst jest krótki lub mieszany.
4. Kliknij „Analizuj tekst”. Jedno sprawdzenie przyjmuje do 12 000 znaków, więc długą pracę sprawdzaj w częściach.
5. Obejrzyj etykietę obok oryginału i podświetlone akapity. W długim tekście podświetlenie nie obejmuje wszystkich akapitów.

Detektor to własne rozwiązanie Textumi: sami zbudowaliśmy i dostroiliśmy jego modele, a sprawdzanie odbywa się na naszych serwerach, bez przekazywania tekstu zewnętrznemu dostawcy AI. Możesz z niego korzystać w przeglądarce, w aplikacji na macOS w planach Indywidualnym i Profesjonalnym albo przez konektor Textumi wprost w rozmowie ze swoim asystentem AI. Stale ulepszamy detektor i regularnie dodajemy narzędzia, które ułatwiają codzienną pracę z nim.

Liczba słów, które możesz sprawdzić, zależy od planu; wszystkie limity są na stronie z cennikiem. W planach Indywidualnym i Profesjonalnym wyniki zostają w prywatnej „Historii” przez 30 dni i możesz je usunąć wcześniej. W planach bez „Historii” wynik możesz otworzyć przez mniej więcej godzinę po zakończeniu; potem nie jest już dla Ciebie dostępny i zostaje usunięty w ciągu 7 dni.

Otwórz Detektor AIPorównaj planyPrzeczytaj politykę prywatności