Wie KI-Detektoren funktionieren und wo sie irren

Was ein KI-Detektor misst

Ein Detektor schätzt, wie sehr die Formulierungen eines Textes den KI-Texten ähneln, mit denen er trainiert wurde.

Sprachmodelle wählen gern die wahrscheinlichsten Wörter und bauen gleichmäßige, saubere Sätze. Menschen schreiben weniger vorhersehbar: Sie wiederholen sich, wechseln das Tempo und greifen zu Wörtern, mit denen kein Modell rechnet. Diesen statistischen Unterschied lernt ein Detektor aus sehr vielen Beispielen.

Zwei Ansätze sind verbreitet. Beim ersten fragt man ein anderes Sprachmodell, wie vorhersehbar jedes Wort des Textes ist, und hält sehr vorhersehbaren Text für verdächtig. Dieses Maß heißt Perplexität.

Der zweite Ansatz ist ein trainierter Klassifikator. Ein Encoder verwandelt den Text in eine Reihe von Zahlen, und ein Klassifikator, der an menschlichen und KI-Beispielen trainiert wurde, bewertet diese Zahlen. So arbeitet auch Textumi, mit eigenen Detektormodellen, die wir trainieren, justieren und auf unseren eigenen Servern betreiben. Beide Ansätze stützen sich allein auf den Text.

Wasserzeichen sind eine eigene Idee: Ein Modell hinterlässt beim Schreiben eine statistische Markierung im Text, die prüfen kann, wer den Schlüssel hat. Das funktioniert nur bei Modellen, die eine solche Markierung setzen. Ein Detektor, der beliebige Texte lesen soll, kann sich darauf nicht verlassen.

Ein Detektor prüft keine Fakten, beurteilt keine Argumente und sucht deinen Text nicht in einem Archiv von Chatbot-Antworten. Zwei Texte mit gleichem Inhalt und anderen Formulierungen können sehr unterschiedliche Ergebnisse bekommen.

Warum das Ergebnis ein Signal ist und kein Urteil

Menschliches und maschinelles Schreiben überschneiden sich. Manche Menschen schreiben gleichmäßig und vorhersehbar, und ein Modell lässt sich dazu bringen, ungleichmäßig zu schreiben.

Wo auch immer man in dieser Überschneidung eine Schwelle zieht, landen manche menschlichen Texte auf der KI-Seite und manche KI-Texte auf der menschlichen. Die Schwelle zu verschieben tauscht nur einen Fehler gegen den anderen.

Das Ergebnis selbst wird leicht missverstanden. Textumi benennt es mit einer von fünf Einstufungen: „Von Menschen geschrieben“, „Überwiegend Mensch“, „Gemischt: Mensch und KI“, „Überwiegend KI“ und „KI-generiert“. Die ersten beiden liegen unter der Schwelle, die anderen drei darüber. Eine Einstufung beschreibt, wie der Stil des ganzen Textes wirkt, nicht die Wahrscheinlichkeit einer KI-Urheberschaft und nicht den Anteil generierten Textes.

Zeigt ein anderer Detektor einen Prozentwert, ist auch das die Schätzung eines Modells und verdient dieselbe Vorsicht.

Diese Grenzen sind gut belegt. OpenAI hat 2023 seinen eigenen Klassifikator für KI-Texte wegen geringer Genauigkeit zurückgezogen, und Forschende der Stanford University berichteten im selben Jahr, dass Detektoren englische Aufsätze von Nicht-Muttersprachlern häufiger markierten als die von Muttersprachlern.

Was Umformulieren und Überarbeiten mit dem Ergebnis machen

Ein Detektor bewertet den Text, den er bekommt. Ändern sich die Formulierungen, ändert sich auch das Ergebnis.

Schreibt ein Mensch einen KI-Text Satz für Satz um, bleiben weniger der Muster übrig, die der Detektor kennt. Glättet ein KI-Assistent den Text eines Menschen, kommen mehr davon hinzu.

So entsteht ein gemischter Text. Ein Detektor, der an rein menschlichen und rein generierten Beispielen trainiert wurde, kann ihn jeder der beiden Seiten zuordnen.

Dasselbe gilt für Umformulierungstools, unseren Humanizer eingeschlossen. Sein Ziel ist natürlicher Wortlaut, der Fakten und Logik des Originals bewahrt, nicht ein bestimmter Wert. Eine Umformulierung ist neuer Wortlaut, und das Ergebnis des Detektors bezieht sich auf diesen Wortlaut, nicht auf die Herkunft des Textes. Einen Text, den ein Detektor nicht markiert, kann ein anderer trotzdem markieren.

Gründliche Grammatikkorrektur und Übersetzung verschieben Ergebnisse ebenfalls, manchmal in Richtung KI.

Warum neue Modelle ein bewegliches Ziel sind

Ein Detektor kennt die Modelle, deren Texte in seinen Trainingsdaten waren, und zwar so, wie sie damals geschrieben haben. Texte eines neueren oder anderen Modells können ihnen ähneln oder auch nicht, und klären lässt sich das nur durch einen Test.

Die Detektoren von Textumi für andere Sprachen als Englisch und Ukrainisch wurden mit Texten zweier verbreiteter KI-Modelle trainiert. Texte anderer Modelle liegen außerhalb dieser Tests, und das ist ein Grund, warum wir die Detektoren laufend verbessern und in Versionen veröffentlichen.

Warum andere Sprachen als Englisch schwieriger sind

Ein Modell, das an englischen Texten trainiert wurde, funktioniert in anderen Sprachen nicht von selbst genauso gut. Jede Sprache braucht eigene menschliche Texte, eigene KI-Texte und einen eigenen Test.

Am schwierigsten ist es, Texte zu sammeln, von denen sicher ist, dass Menschen sie geschrieben haben. Kleinere Sprachen haben davon weniger, deshalb deckt ein Trainingsdatensatz oft nur wenige Textsorten ab.

Textumi trainiert für jede Sprache einen eigenen Klassifikator. Der englische und der ukrainische Detektor sind am gründlichsten geprüft. Die Detektoren der übrigen Sprachen wurden an Prosa aus Wikimedia-Projekten und an Texten zweier KI-Modelle trainiert und getestet.

Bei anderen Textsorten übersehen einige dieser Detektoren viele KI-Texte, darunter der französische, vietnamesische, türkische, indonesische und niederländische. Übersetzter Text ist in jeder Sprache eine zusätzliche Fehlerquelle.

Die Sprachen und ihr jeweiliger Stand Wie der KI-Detektor von Textumi gebaut und getestet wird

Wie du ein Ergebnis verantwortungsvoll liest

Lies die hervorgehobenen Passagen, bevor du auf die Einstufung schaust, denn sie zeigen, woher das Signal kommt, und lassen dich diese Zeilen selbst beurteilen.
Achte auf die Länge. Unter 50 Wörtern zeigt Textumi statt einer Einstufung „Zu wenig Text für eine Einschätzung“, und kurzen Texten solltest du bei jedem Detektor mit Vorsicht begegnen.
Achte auf Textsorte und Sprache. Eine Markierung bei einem förmlichen Schreiben oder ein Ergebnis in einer Sprache, die an einer schmaleren Textauswahl getestet wurde, wiegt weniger als dasselbe Ergebnis bei einem langen englischen Aufsatz.
Behandle „Von Menschen geschrieben“ und „Überwiegend Mensch“ als Einschätzungen. Sie bedeuten, dass der Detektor wenig gefunden hat, was nach KI aussieht, nicht dass sicher ein Mensch den Text geschrieben hat.
Sammle weitere Belege, bevor du etwas entscheidest: Entwürfe, Versionsverlauf und ein Gespräch mit der Person, die geschrieben hat, sagen mehr über die Urheberschaft als jeder Detektor.

Warum von Menschen geschriebene Texte markiert werden Verantwortungsvolle Nutzung

Häufige Fragen

Sind KI-Detektoren zuverlässig?

Das hängt vom Text ab, und keine einzelne Zahl beschreibt einen Detektor ehrlich. Die Ergebnisse schwanken mit Sprache, Textsorte, Länge und dem Modell, das den Text geschrieben hat. Jeder Detektor markiert manchmal menschliche Texte und übersieht KI-Texte. Deshalb veröffentlichen wir, wie wir unseren Detektor testen, werben aber mit keiner Genauigkeitsquote.

Können KI-Detektoren ChatGPT erkennen?

Ein Detektor reagiert auf Formulierungen, nicht auf ein bestimmtes Modell. Text von ChatGPT, Claude, Gemini oder einem anderen Modell kann markiert werden, wenn er den KI-Texten ähnelt, mit denen der Detektor trainiert wurde, und übersehen werden, wenn nicht. Textumi bestimmt nicht, welches Modell einen Text geschrieben hat, und wurde nicht Modell für Modell getestet.

Ändern Umformulieren oder Überarbeiten das Ergebnis eines Detektors?

Ja. Eine Umformulierung ändert den Wortlaut, und das Ergebnis folgt dem Wortlaut. Das ist eine Grenze der Methode, keine Garantie in die eine oder andere Richtung: Überarbeiteter KI-Text kann weiterhin markiert werden, eine Umformulierung kann ein anderer Detektor markieren, und das Ergebnis zeigt nie, dass sich die Herkunft eines Textes geändert hat.

Warum bewerten zwei KI-Detektoren denselben Text unterschiedlich?

Jeder wurde mit anderen menschlichen und KI-Texten trainiert, bewertet Formulierungen auf eigene Weise und setzt seine eigene Schwelle. Ein Text nahe an der Grenze kann auf jeder Seite landen. Dass Detektoren sich widersprechen, ist normal und ein weiterer Grund, jedes Ergebnis als Signal zu behandeln und nicht als Befund.

Funktionieren KI-Detektoren bei kurzen Texten?

Schlecht. Ein paar Sätze liefern zu wenig für ein stabiles Ergebnis, und eine ungewöhnliche Wendung kann es verschieben. Textumi nimmt Texte ab 5 Wörtern an, zeigt aber unter 50 Wörtern statt einer Einstufung „Zu wenig Text für eine Einschätzung“. Prüf nach Möglichkeit eine längere Passage aus demselben Dokument.

Funktionieren KI-Detektoren auch in anderen Sprachen als Englisch?

Manche schon, mit mehr Einschränkungen. Jede Sprache braucht eigene Trainingstexte und einen eigenen Test, und die sind außerhalb des Englischen schwerer zu bekommen. Der KI-Detektor von Textumi arbeitet in 20 Sprachen. Englisch und Ukrainisch sind am gründlichsten geprüft, die übrigen an einer schmaleren Textauswahl, und bei anderen Textsorten sind einige davon schwächer.

Was bedeuten Perplexität und Burstiness bei der KI-Erkennung?

Perplexität misst, wie vorhersehbar ein Text für ein Sprachmodell ist: Je niedriger sie ist, desto vorhersehbarer der Text. Burstiness beschreibt die Ungleichmäßigkeit, also wie sich lange und kurze, einfache und komplexe Sätze abwechseln. Manche Detektoren werten niedrige Perplexität und einen gleichmäßigen Rhythmus als Zeichen für KI. Beide Maße sind grob, denn formelhafte menschliche Texte sind ebenfalls vorhersehbar. Textumi nutzt einen trainierten Klassifikator statt dieser Maße.