Wie der KI-Detektor von Textumi gebaut und getestet wird

Ein eigener Klassifikator für jede Sprache

Ukrainisch und die achtzehn später hinzugekommenen Sprachen teilen sich einen mehrsprachigen Encoder, also ein Modell, das Text in Zahlen übersetzt. Der Encoder ist eingefroren, seine Gewichte ändern sich nicht. Darauf sitzt ein kleiner Klassifikator, der nur für eine Sprache trainiert ist.

Einen langen Text liest das Modell in aufeinanderfolgenden Fenstern und fasst die Ergebnisse zu einem Wert für den ganzen Text zusammen. Zusätzlich werden bis zu drei Absätze mit mindestens 50 Wörtern einzeln bewertet; genau diese Passagen hebt der Detektor hervor.

Englisch hat ein älteres, eigenes Modell: einen eigenen eingefrorenen englischen Encoder, darauf von Textumi trainierte Klassifikatoren und ein zweites Modell, dessen Signal nach einer festen Regel mit ihrem verrechnet wird.

Ein Text wird immer vom Klassifikator seiner eigenen Sprache bewertet. Eine Sprache ohne freigegebenen Klassifikator bekommt eine Fehlermeldung und nie einen Wert, der von einer anderen Sprache geliehen ist.

Woher die Trainingstexte stammen

Die menschlichen Texte der achtzehn Sprachen stammen aus Wikimedia-Projekten: Nachrichten aus Wikinews, Wikipedia-Artikel und Wikipedia-Diskussionsseiten. Hindi, Indonesisch, Vietnamesisch, Hebräisch und Dänisch haben kein Wikinews, deshalb treten dort Lehrbücher aus Wikibooks an seine Stelle.

Jeder Text ist ein ganzer Prosaabsatz mit 80 bis 280 Wörtern aus der letzten Fassung seiner Seite vor 2020. Das Datum belegt, dass ein Mensch ihn geschrieben hat. Kein Text gilt als menschlich, nur weil ein anderer Detektor das meint.

Von Programmen erzeugte Artikelstummel und Hinweise, die sich von Seite zu Seite wiederholen, werden herausgefiltert. Die Filter verringern ihre Zahl, erwischen aber nicht jeden einzelnen.

Zu jedem menschlichen Text gibt es ein KI-Gegenstück zum selben Thema, in derselben Textsorte und Sprache und von ähnlicher Länge. Geschrieben haben die Gegenstücke zwei verbreitete KI-Modelle verschiedener Anbieter, jedes für die Hälfte der Quellen. Abgebrochene Antworten, Kopien der Quelle und alles, was keine einfache Prosa war, wurden verworfen.

Das ukrainische Korpus ist älter: Es besteht aus historischen Wikimedia-Texten und Texten eines einzigen KI-Modells. Texte von Nutzern werden für das Training keines Detektors verwendet.

Ein versiegelter Test, der je Version einmal geöffnet wird

Die Texte werden nach Quelle gruppiert, damit etwa die Kapitel eines Lehrbuchs oder die Archive einer Diskussionsseite zusammenbleiben. Die Gruppen werden einmal auf drei Teile verteilt: Training, Kalibrierung und Test. Ein menschlicher Text und sein KI-Gegenstück landen immer im selben Teil.

Der Test umfasst rund 200 Quellgruppen. Er bleibt versiegelt, solange der Klassifikator ausgewählt und seine Schwelle festgelegt wird, und wird dann einmal geöffnet.

Fällt die Version durch, wird dieser Test nicht wieder verwendet. Seine Texte werden zu Trainingsdaten, und die nächste Version wird an neuen Quellgruppen geprüft, die keine frühere Version gesehen hat. So können wir einen Klassifikator nicht so lange anpassen, bis er zufällig seine eigene Prüfung besteht.

Wie Schwelle und Einstufungen festgelegt werden

Für die achtzehn Sprachen liegt die Schwelle dort, wo höchstens 2 von 100 menschlichen Texten markiert werden. Gezählt wird an menschlichen Texten, aus denen der Klassifikator nicht gelernt hat, in den ersten Versionen am Kalibrierungsteil.

Versionen, die nach dem 12. Oktober 2026 entstanden sind, zählen an allen Texten außerhalb des Tests, und jeden davon bewertet ein Klassifikator, der seine Quellgruppe nie gesehen hat. Die Schwelle wird eingefroren, bevor der Test geöffnet wird.

Diese Regel hält Fehlalarme bewusst selten und nimmt dafür in Kauf, dass mehr KI-Texte unentdeckt bleiben. Aus dem Wert macht sie keine Wahrscheinlichkeit.

Die Schwelle jedes Klassifikators wird auf 0,5 der Modellskala von 0 bis 1 gelegt; dieser Punkt ist die Signalgrenze. Auf textumi.com erscheint der Wert ohne Zahl: als Nadel auf einer Skala von „Mensch“ bis „KI“ und als eine von fünf Einstufungen.

Ein Text mit weniger als 50 Wörtern bekommt keine Einstufung: Textumi zeigt stattdessen „Zu wenig Text für eine Einschätzung“. Jede Einstufung ist eine Einschätzung anhand des Schreibstils, kein gemessener Anteil an KI-Text und kein Beweis der Urheberschaft. Ein über MCP verbundener KI-Assistent erhält den Wert selbst als Zahl.

Die Hürde, die eine Version vor der Freigabe nehmen muss

Eine Version für eine der achtzehn Sprachen wird nur angeboten, wenn ihr Test mindestens 150 menschliche und 150 KI-Texte enthält und auf diesem Test alle drei Bedingungen erfüllt sind:

• Höchstens 5 % der menschlichen Texte werden markiert, Fehlalarme bleiben also selten.
• Mindestens 60 % der KI-Texte werden im gesamten Test erkannt.
• In jedem Bereich des Korpus, also in Nachrichten oder Lehrbüchern, Lexikonartikeln und Diskussionen, werden mindestens 50 % der KI-Texte erkannt.

Vor der Freigabe wird der exportierte Klassifikator mit demselben Code geladen, der die Anfragen bearbeitet, und seine Werte werden mit denen aus dem Training verglichen.

Eine Sprache, deren Version die Hürde nicht nimmt, wird nicht angeboten. Tschechisch hat sie nicht genommen, deshalb unterstützt Textumi kein Tschechisch.

Die einzige Ausnahme ist Niederländisch. Seiner aktuellen Version fehlte nur wenig: Sie erkannte 59,8 % der KI-Texte bei geforderten 60 % und in Lexikonartikeln 49,4 % bei geforderten 50 %. Textumi hat sich entschieden, sie trotzdem anzubieten, und die Regel selbst unverändert gelassen.

Was eine freigegebene Version aussagt

Eine freigegebene Version hat die Regel einmal erfüllt, an Wikimedia-Prosa und Texten zweier KI-Modelle. Das zeigt, wie sie sich bei solchem Material verhält. Eine Genauigkeit bei anderen Texten garantiert es nicht, und eine kalibrierte Wahrscheinlichkeit der Urheberschaft ergibt sich daraus auch nicht.

Der englische und der ukrainische Detektor sind am längsten im Einsatz. Der ukrainische Klassifikator wurde an 200 menschlichen und 198 KI-Texten aus 200 Quellgruppen geprüft, das englische Modell an einem kleinen zurückgehaltenen Satz aus 80 menschlichen und 20 KI-Texten. Auch ihre Werte sind unkalibrierte Signale.

Was die Tests nicht abdecken

• Andere Textsorten. Bei einer kleinen Auswahl von KI-Texten anderer Art, etwa Aushängen, Beschwerden und Anleitungen, übersahen die Detektoren für Französisch, Vietnamesisch, Türkisch und Indonesisch die meisten, die für Schwedisch und Niederländisch etwa die Hälfte. Portugiesisch, Arabisch, Polnisch, Deutsch, Italienisch, Norwegisch (Bokmål) und Dänisch wurden an anderen Textsorten nicht geprüft.
• Kurze Texte. Die Trainingsauszüge haben mindestens 80 Wörter. Unter 50 Wörtern gibt Textumi keine Einstufung, und auch bei einem etwas längeren Text ist das Ergebnis in jeder Sprache weniger verlässlich.
• Gemischte und überarbeitete Texte. Das Korpus enthält vollständig menschliche und vollständig von KI geschriebene Texte; ein überarbeiteter KI-Entwurf oder ein stark geglätteter menschlicher Text liegt außerhalb des Geprüften.
• Andere KI-Modelle. Die KI-Texte des Korpus stammen von zwei Modellen, Texte anderer Generatoren waren nicht Teil des Tests.
• Englisch in großem Umfang. Das englische Modell wurde an einem deutlich kleineren Satz geprüft als die Detektoren der übrigen Sprachen.

Warum menschliche Texte markiert werdenDie Sprachen und ihr Stand

Wie sich Versionen ändern

Jeder Klassifikator hat eine Versionsnummer. Eine neue Version bedeutet eine neue Aufteilung des Korpus und einen neuen versiegelten Test, und jede Änderung einer Schwelle braucht eine eigene Validierung und einen Versionseintrag.

Textumi arbeitet laufend an der Qualität des Detektors, und jede neue Version durchläuft dieselbe Regel. Eine Version wird nur an Quellen bewertet, die sie noch nie gesehen hat, und jede Freigabe ist eine eigene Entscheidung. Ändert sich die Methode, ändern sich auch diese Seite und ihr Datum.