Zwei Arten von Fehlern
Ein Detektor kann sich in zwei Richtungen irren. Er kann einen Text markieren, den ein Mensch geschrieben hat, das ist ein Fehlalarm. Oder er lässt einen KI-Text durch, dann hat er ihn übersehen.
Die beiden Fehler ziehen in entgegengesetzte Richtungen. Jeder Detektor vergleicht einen Wert mit einer Schwelle: Liegt die Schwelle niedriger, erkennt er mehr KI-Texte, markiert aber auch mehr Menschen; liegt sie höher, markiert er weniger Menschen, übersieht aber mehr KI-Texte. Keine Einstellung beseitigt beides.
Die erste Frage an einen Detektor lautet deshalb nicht, wie genau er ist, sondern welchen Fehler er zu vermeiden versucht. Geht es um Entscheidungen über Menschen, richtet ein Fehlalarm meist den größeren Schaden an.
Auch große Unternehmen stoßen hier an Grenzen. OpenAI hat 2023 seinen eigenen Klassifikator für KI-Texte zurückgezogen und das mit dessen geringer Genauigkeit begründet.
Warum Angaben wie „99 % Genauigkeit“ täuschen
Eine einzelne Genauigkeitszahl verbirgt mehr, als sie zeigt. Sie vermischt beide Fehlerarten zu einer Zahl und beschreibt nur eine Testsammlung, die derjenige ausgewählt hat, der den Test durchgeführt hat.
Gerade diese Testsammlung entscheidet. Ein Detektor, der an rohen, unbearbeiteten Chatbot-Antworten auf Englisch gemessen wurde, sieht weit besser aus als derselbe Detektor bei kurzen, überarbeiteten oder übersetzten Texten in einer anderen Sprache.
Auch kleine Fehlerquoten summieren sich. Angenommen, ein Detektor markiert 1 von 100 menschlichen Texten zu Unrecht. In einem Kurs mit 300 ehrlich geschriebenen Aufsätzen sind das etwa drei Studierende, die für ihre eigene Arbeit markiert werden.
Wenn du eine Genauigkeitsangabe liest, schau, was dahintersteht: welche Sprachen und Textsorten getestet wurden, wie lang die Texte waren, ob sie überarbeitet waren, wer die menschlichen Texte ausgewählt hat und wie viele davon markiert wurden. Eine Angabe ohne diese Details sagt dir sehr wenig.
Wo Detektoren an ihre Grenzen stoßen
Am schlechtesten schneiden Detektoren ausgerechnet bei den Texten ab, die man am häufigsten prüfen muss:
- Kurze Texte. Ein paar Sätze liefern zu wenig Anhaltspunkte, deshalb zeigt Textumi bei allem unter 50 Wörtern „Zu wenig Text für eine Einschätzung“.
- Überarbeitete, umformulierte oder übersetzte Texte. Jede Änderung entfernt die Formulierungen von dem, was der Detektor gelernt hat, und das in beide Richtungen.
- Förmliche und formelhafte Texte wie Abstracts, Anschreiben und Behördenbriefe. Sie folgen Vorlagen, die ein Detektor als maschinell lesen kann.
- Texte in einer Fremdsprache. Forschende der Stanford University berichteten 2023, dass Detektoren englische Aufsätze von Nicht-Muttersprachlern häufiger markierten.
- Sprachen und Textsorten, die der Detektor im Training kaum zu sehen bekommen hat.
Dieser letzte Punkt trifft auch auf Textumi zu. Unsere Detektoren für Sprachen außer Englisch und Ukrainisch wurden mit Prosatexten aus Wikimedia-Projekten trainiert und getestet. Bei einer kleinen Stichprobe von KI-Texten anderer Art, etwa Mitteilungen, Beschwerden und Anleitungen, übersahen die Detektoren für Französisch, Vietnamesisch, Türkisch und Indonesisch die meisten davon. Die Detektoren für Schwedisch und Niederländisch übersahen davon etwa die Hälfte.
Warum wurde mein Text als KI markiert?Wie KI-Detektoren funktionieren
So testest du einen Detektor selbst
Am fairsten ist ein Test mit Texten, die deinen eigenen ähneln. Er dauert etwa eine Stunde und sagt dir mehr als jede veröffentlichte Zahl.
- Sammle zehn oder mehr Texte, von denen du sicher weißt, dass ein Mensch sie geschrieben hat, in deiner Sprache und Textsorte, am besten aus der Zeit, bevor KI-Assistenten verbreitet waren.
- Schreib oder generiere ebenso viele KI-Texte zu ähnlichen Themen und in ähnlicher Länge, und überarbeite einige davon so, wie Menschen es tatsächlich tun.
- Prüf jeden Text mit jedem Detektor, den du vergleichst, und notiere das Ergebnis, ohne zwischendurch etwas zu ändern.
- Zähl getrennt, wie viele menschliche Texte markiert und wie viele KI-Texte übersehen wurden, und sieh dir an, welche Passagen jeder Detektor markiert hat.
Markiert ein Detektor mehrere deiner sicher menschlichen Texte, behandle seine Ergebnisse bei dieser Art von Texten mit großer Vorsicht, ganz gleich, was seine Werbung verspricht.
Wie Textumi seinen eigenen Detektor testet
Für Textumi veröffentlichen wir keine einzelne Genauigkeitszahl, weil es keine ehrliche gibt, die für jede Sprache und jede Art von Text gilt. Stattdessen veröffentlichen wir die Regel, die jede Version des Detektors erfüllen muss.
Für alle Sprachen außer Englisch und Ukrainisch liegt die Schwelle dort, wo höchstens 2 von 100 menschlichen Texten markiert werden, aus denen der Klassifikator nicht gelernt hat. So bleiben Fehlalarme selten, und wir nehmen in Kauf, dass mehr KI-Texte übersehen werden.
Danach durchläuft jede Version genau einen Test an einer versiegelten Textsammlung, die sie vorher nie gesehen hat, und zwar unter Bedingungen für beide Fehlerarten. Ein nicht bestandener Test wird niemals erneut verwendet. Die Methodikseite beschreibt die Regel, nennt die eine Sprache, die Textumi auf eigene Entscheidung anbietet, obwohl ihr Test das Ziel knapp verfehlt hat, und erklärt, was die Tests nicht abdecken.
Wie auch immer die Regel aussieht: Ein Ergebnis ist eine Einschätzung anhand des Schreibstils. Es ist keine Wahrscheinlichkeit und kein Beweis dafür, wer den Text geschrieben hat.
Häufige Fragen
Sind KI-Detektoren zuverlässig?
Nützlich können sie sein, aber keiner von ihnen liefert bei jedem Text verlässliche Ergebnisse. Jeder Detektor markiert manche menschlichen Texte und übersieht manche KI-Texte. Wie oft das geschieht, hängt von Sprache, Textsorte, Länge und Überarbeitung des Textes ab. Betrachte jedes Ergebnis als Signal, das den Zusammenhang braucht, und nie als Beweis der Urheberschaft.
Kann ein KI-Detektor zu 99 % genau sein?
Bei einer bestimmten Testsammlung kann ein Detektor sehr gut abschneiden. Diese Zahl bezieht sich jedoch nur auf genau diese Texte, die oft lang und unbearbeitet sind. Zudem vermischt sie zwei verschiedene Fehler zu einer einzigen Zahl. Derselbe Detektor kann bei kurzen, überarbeiteten, übersetzten oder förmlichen Texten deutlich schlechter abschneiden. Frag deshalb nach, woran die Zahl gemessen wurde.
Welcher KI-Detektor ist der genaueste?
Eine einzige ehrliche Antwort darauf gibt es nicht. Jedes Unternehmen testet mit eigenen Texten, und die Ergebnisse lassen sich nicht miteinander vergleichen. Für dich schneidet der Detektor am besten ab, der möglichst wenige deiner sicher menschlichen Texte markiert und trotzdem KI-Texte deiner Art erkennt. Teste also ein paar Detektoren an deinem eigenen Material.
Wie genau ist Textumi?
Eine einzelne Zahl veröffentlichen wir nicht, weil sie nicht überall zutreffen würde, je nach Sprache und Textsorte. Veröffentlicht wird stattdessen die Methode. Die Schwelle erlaubt in allen Sprachen außer Englisch und Ukrainisch höchstens 2 von 100 markierten menschlichen Texten, gemessen an Texten, aus denen das Modell nicht gelernt hat. Zudem muss jede Version in einem versiegelten Test Bedingungen erfüllen. Die Details stehen auf der Seite zur Methodik.
Warum bewerten zwei Detektoren denselben Text unterschiedlich?
Sie wurden mit anderen Beispielen trainiert und ziehen ihre Schwellen an anderen Stellen. Ein Text nahe der Grenze kann auf jeder Seite landen, und ein Detektor reagiert vielleicht auf Formulierungen, die ein anderer ignoriert. Deshalb sagt ein einzelnes Ergebnis, egal von welchem Detektor, weniger aus, als viele annehmen.
Sollte ein Detektorergebnis über eine Note oder eine Einstellung entscheiden?
Nein. Ein Ergebnis ist ein statistisches Signal zu den Formulierungen und sollte nie die einzige Grundlage für eine Entscheidung über einen Menschen sein. Entwürfe, Versionsverlauf, Quellen und ein Gespräch über die Arbeit zeigen die Urheberschaft weit besser, und sie schützen Menschen, deren ehrlich geschriebener Text zufällig vorhersehbar wirkt.