Die Frontlinie der KI-Textdetektion – Die wachsende Besorgnis von Schülern und Lehrern hinter dem Wettlauf um Genauigkeit

Die Frontlinie der KI-Textdetektion – Die wachsende Besorgnis von Schülern und Lehrern hinter dem Wettlauf um Genauigkeit

Kann man wirklich erkennen, ob ein Text von einer KI geschrieben wurde? – Die Leistungsfähigkeit von Erkennungstools und die Fallstricke von „Fehlurteilen“

Da generative KI mittlerweile E-Mails, Berichte, Werbung und Nachrichtenartikel erstellt, ist die Frage „Wer hat diesen Text geschrieben?“ plötzlich von großer Bedeutung. Hier kommen KI-Textdetektoren ins Spiel. Wenn man einen Text eingibt, zeigt das Tool nach wenigen Sekunden den „Wahrscheinlichkeitsgrad der KI-Generierung“ in Prozent oder farblich an. Lehrer können dies zur Überprüfung von Einreichungen nutzen, Redakteure zur Manuskriptprüfung und Unternehmen zur Qualitätskontrolle von ausgelagerten Inhalten. Betrachtet man nur die Einfachheit, scheint es ein unverzichtbares Werkzeug im KI-Zeitalter zu sein.

Doch die auf dem Bildschirm angezeigten „87 %“ sind kein Beweis für den Autor wie ein DNA-Test. Es ist das Ergebnis einer statistischen Untersuchung der Eigenheiten des Textes, die schätzt, ob er eher einem menschlichen oder einem KI-generierten Text ähnelt. Auch wenn es ein nützliches Warnsystem ist, kann es allein kein Urteil fällen. Wenn man diesen Unterschied nicht versteht und das Tool einführt, besteht die Gefahr, nicht nur Betrug zu übersehen, sondern auch unschuldige Personen zu verdächtigen.


Was erkennt der KI-Detektor?

Viele Detektoren nutzen Hinweise wie Wortwahl, Variation der Satzlänge, Wiederholungen, Syntax und die Vorhersagbarkeit des nächsten Wortes. Große Sprachmodelle wählen Wörter probabilistisch aus, die dem Kontext folgen könnten, um Texte zu erstellen. Daher können in flüssigen, wenig fehlerhaften Texten mit gleichbleibendem Tonfall Muster auftreten, die auf maschinelle Generierung hindeuten.

Häufig verwendete Konzepte sind „Unvorhersehbarkeit“ und „Variabilität“. Ersteres beschreibt, wie leicht das nächste Wort vorhergesagt werden kann. Letzteres betrachtet, wie sehr sich kurze und lange Sätze sowie einfache und unerwartete Ausdrücke mischen. Menschen neigen dazu, sich zu korrigieren oder den Rhythmus je nach Thema zu ändern. KI hingegen neigt dazu, gleichmäßige, durchschnittliche Sätze fortzusetzen – zumindest versuchen Detektoren, diese Tendenzen zu erfassen.

Allerdings ist dies kein Fingerabdruck. Selbst bei derselben KI können Modell, Anweisungen, Temperatureinstellungen und Bearbeitungsmethoden den Stil verändern. Auch Menschen schreiben vorhersehbare Texte, wie juristische Dokumente, Produktspezifikationen, Standard-E-Mails oder wissenschaftliche Abstracts. Das Ergebnis der Textkorrektur-Tools kann ebenfalls die Ausdrucksvariabilität verringern. Detektoren sehen nur den fertigen Text, nicht den Schreibprozess. Wer, auf welchem Gerät und mit welchen Schritten der Text erstellt wurde, bleibt unbekannt.


Die größte Schwäche ist, dass die „KI-typischen Merkmale“ sich ständig ändern

Wenn die Erkennungsseite die Merkmale der KI lernt, kann die Generierungsseite diese Merkmale abschwächen. Umschreibungen, Änderung der Wortreihenfolge, mehrfache Überarbeitung und menschliche Ergänzungen können das Urteil beeinflussen. Studien zeigen, dass rekursive Umschreibungen die Erkennungsrate senken können, ohne die Qualität des Textes erheblich zu mindern. Umgekehrt kann es theoretisch auch Angriffe geben, bei denen menschliche Texte mit maschinellen Merkmalen versehen werden, um sie falsch zu erkennen.

Das bedeutet, dass die Erkennung kein Prozess ist, der festgelegte Fälschungen aufspürt. Es ist ein Verfolgungsspiel, bei dem sich die Standards verschieben, wenn sich das Generierungsmodell weiterentwickelt und die Bearbeitungstechniken der Nutzer verbessern. Ein Detektor, der zu einem bestimmten Zeitpunkt, mit einem bestimmten Modell und in einer bestimmten Sprache hohe Leistungen erzielt, muss nicht unter anderen Bedingungen dieselbe Leistung erbringen.

Ein symbolisches Beispiel ist die Reaktion von OpenAI. Das Unternehmen veröffentlichte 2023 einen KI-Textklassifikator, aber bei der Bewertung englischer Testdaten konnte nur in 26 % der Fälle korrekt erkannt werden, dass es sich um KI-Texte handelte, und in 9 % der Fälle wurden menschliche Texte fälschlicherweise als KI-Texte eingestuft. Danach wurde der Dienst aufgrund der niedrigen Genauigkeit eingestellt. Das Unternehmen erklärte selbst, dass die Zuverlässigkeit bei kurzen Texten, nicht-englischen Texten und Texten, die von den Trainingsdaten abweichen, sinkt und dass es nicht als Hauptentscheidungshilfe verwendet werden sollte.

Das bedeutet nicht, dass „alle Detektoren nur zu 26 % korrekt sind“. Die Daten und Bewertungsmethoden unterscheiden sich je nach Produkt. Dennoch ist die Tatsache, dass selbst Unternehmen, die generative KI entwickeln, mit der Schwierigkeit konfrontiert sind, allgemeine Textbewertungen vorzunehmen, von Bedeutung.


Die unsichtbare Ungerechtigkeit durch Fehlklassifikationen

Fehlklassifikationen sind nicht nur numerische Fehler. In Schulen können sie sich auf Noten und Disziplinarmaßnahmen auswirken, in der Forschung auf die Glaubwürdigkeit und für Autoren auf Honorare und Verträge. Besonders gefährdet sind nicht-muttersprachliche Autoren. Untersuchungen von Forschern der Stanford University und anderen haben gezeigt, dass mehrere Detektoren dazu neigen, englische Texte von Nicht-Muttersprachlern fälschlicherweise als KI-generiert zu klassifizieren. Ein Grund dafür könnte der begrenzte Wortschatz und die eingeschränkte Syntax sein, die den Text vorhersehbarer machen.

Dieses Problem betrifft auch japanische Nutzer. Viele Erkennungstechnologien wurden mit englischsprachigen Daten entwickelt, und es ist nicht garantiert, dass sie in Japanisch dieselbe Leistung erbringen. Japanisch unterscheidet sich von Englisch durch Merkmale wie das Auslassen des Subjekts, das Fehlen von Leerzeichen, Höflichkeit und die Mischung aus Kanji und Kana. Bei kurzen Social-Media-Posts oder standardisierten Geschäftstexten gibt es noch weniger Anhaltspunkte für eine Bewertung. Ein allgemeiner Richtwert wie „ab 500 Wörtern sicher“ ist nicht über Sprach- und Produktgrenzen hinweg garantiert.

Auch Turnitin zeigt keine konkreten Zahlen an, wenn der KI-Anteil zwischen 1 % und 19 % liegt, da in diesem Bereich die Fehlklassifikationen relativ häufig sind. Dies ist ein Beispiel dafür, dass der Erkennungsdienst selbst zugibt, dass niedrigere Scores leichter falsch interpretiert werden können. Ein Score über 20 % bedeutet nicht automatisch, dass es sich um Betrug handelt. Der angezeigte Prozentsatz gibt den Anteil des Textes an, der als KI-ähnlich eingeschätzt wird, und ist nicht gleichbedeutend mit der Wahrscheinlichkeit, dass der Autor KI verwendet hat.


Auf sozialen Medien prallen „Notwendigkeit“ und „Gefahr“ frontal aufeinander

Die Reaktionen in sozialen Medien und Foren sind polarisiert. In Bildungsgemeinschaften gibt es vorsichtige Stimmen, die sagen: „Bei einer großen Anzahl von Einreichungen ist es notwendig, verdächtige Texte als Einstiegspunkt einzugrenzen“ oder „Es kann helfen, Unterschiede zur üblichen Schreibfähigkeit zu erkennen“, und sie sind zögerlich, die Detektoren vollständig abzulehnen. Tatsächlich hat die Anzahl der von KI kopierten Texte zugenommen, und die Belastung der Lehrer, jeden Fall manuell zu überprüfen, kann nicht ignoriert werden.

 

Auf der anderen Seite ist der Widerstand stark. Auf Reddit gibt es Erfahrungsberichte von Lehrern, die ihre eigenen Texte eingegeben haben und dennoch eine KI-Bewertung erhielten, von Texten, die bei verschiedenen Diensten von 0 % bis zu hohen Raten unterschiedlich bewertet wurden, und von Texten, die nur aufgrund der Nutzung eines Korrekturtools verdächtigt wurden. Von der Studentenseite wird die Sorge geäußert, dass sie Beweise für Fehlklassifikationen durch das Speichern von Bearbeitungsverläufen vorlegen müssen und die Beweislast für ihre Unschuld übermäßig auf sie verlagert wird.

Interessant ist, dass auch in den Diskussionen auf Lehrerseite immer wieder die Meinung geäußert wird, „nicht nur aufgrund von Scores anzuklagen“. Es werden Methoden vorgeschlagen, wie das Erklärenlassen verdächtiger Stellen durch den Autor, das Nachfragen nach den verwendeten Quellen, das Überprüfen von Entwürfen und Bearbeitungsverläufen sowie der Vergleich mit üblichen Texten. Es gibt auch Fälle von Fehlschlägen in die andere Richtung. Texte, die offensichtlich anders als üblich sind, aber von mehreren Detektoren mit 0 % bewertet wurden, führen zu Misstrauen nicht nur gegenüber falsch-positiven, sondern auch falsch-negativen Ergebnissen.

Natürlich sind Social-Media-Posts keine statistischen Erhebungen, und die Behauptungen der Autoren können nicht immer als Fakten verifiziert werden. Dennoch lässt sich erkennen, dass sowohl die „Angst vor Fehlklassifikationen“ als auch die „Frustration, Betrug nicht aufdecken zu können“ gleichzeitig existieren. Die Auseinandersetzung um Detektoren dreht sich nicht nur um die Genauigkeit der Technologie, sondern auch um die Frage, wer die Verantwortung für die Erklärung trägt.


„KI-Texte werden im SEO bestraft“ ist zu vereinfacht

Im Zusammenhang mit KI-Inhalten wird oft gesagt, dass „Suchmaschinen die Platzierung von KI-generierten Inhalten herabstufen“. Doch die offizielle Richtlinie von Google ist nicht so einfach. Google erkennt an, dass generative KI bei der Recherche und Strukturierung von Inhalten hilfreich sein kann, und betont, dass das Problem die massenhafte Erstellung von Seiten ohne Mehrwert für die Nutzer ist, die gegen die Spam-Richtlinien verstößt. Wichtig sind Genauigkeit, Qualität und Relevanz, und es wird empfohlen, den Hintergrund der Erstellungsweise angemessen darzustellen.

Daher ist es kontraproduktiv, sich nur darauf zu konzentrieren, den Erkennungsscore als SEO-Maßnahme zu senken. Auch wenn ein Text menschlich wirkt, ist er von geringem Wert, wenn er fehlerhaft ist, keine einzigartigen Informationen enthält und die Fragen der Leser nicht beantwortet. Umgekehrt kann ein Text, der KI zur Vorrecherche oder Strukturhilfe nutzt, für die Leser nützlich sein, wenn er von Experten überprüft, mit eigenen Recherchen und Erfahrungen angereichert und die Verantwortlichkeiten klar dargelegt werden.


Richtige Nutzung vor Ort – den Score als „Einstieg“ nutzen

Wenn man KI-Detektoren verwendet, sollte das Ziel nicht „Täterjagd“, sondern „Suche nach Stellen, die zusätzliche Überprüfung erfordern“ sein. In der Praxis sind folgende Schritte sinnvoll:

Erstens, die zu bewertenden Objekte und Bedingungen dokumentieren. Den Namen des Dienstes, das Ausführungsdatum, die Sprache, den eingegebenen Bereich und die Textmenge festhalten. Da das Erkennungsmodell aktualisiert wird, ist nicht garantiert, dass das Ergebnis später dasselbe ist.

Zweitens, die Bedeutung des Scores überprüfen. Ob es sich um die „Wahrscheinlichkeit der KI-Nutzung“ oder den „Anteil KI-ähnlicher Texte“ handelt, variiert je nach Produkt. Man sollte nicht nur die Zahlen herausgreifen und vergleichen.

Drittens, mehrere Beweise kombinieren. Entwürfe, Notizen, Rechercheaufzeichnungen, Referenz-URLs, Versionsverläufe, Erstellungszeiten von Dateien und Erklärungen der Autoren einsehen. In Schulen sollte man den Schülern vor dem Vorwurf die Möglichkeit zur Gegenbeweisführung und ein Verfahren zur Anfechtung bieten.

Viertens, Erkennungsergebnisse und Qualitätsbewertung trennen. Ob ein Text KI-ähnlich ist und ob er inhaltlich korrekt, originell und wertvoll für den Leser ist, sind unterschiedliche Achsen. Es gibt von Menschen geschriebene minderwertige Artikel, ebenso wie nützliche Texte, die mit KI-Hilfe erstellt und von Menschen verantwortungsvoll fertiggestellt wurden.

Fünftens, den Umgang mit vertraulichen Informationen und unveröffentlichten Manuskripten überprüfen. Vor dem Einfügen in externe Dienste die Speicherpolitik, die Nutzung zu Lernzwecken, die Löschbedingungen und die Informationsmanagementrichtlinien der Organisation prüfen. Es macht keinen Sinn, Kundeninformationen oder Forschungsdaten für die Erkennung preiszugeben.


Von der Erkennung zur „Nachweisführung des Erstellungsprozesses“

Der zukünftige Fokus wird wahrscheinlich von der Methode, nur den fertigen Text zu betrachten und den Autor zu erraten, auf die Methode der Nachweisführung des Erstellungsprozesses verlagert. Durch die Kombination von Bearbeitungsverläufen, Quellenverwaltung, elektronischen Signaturen, Herkunftsinformationen und internen KI-Nutzungsangaben kann man der Realität näher kommen als mit der binären Frage „KI oder Mensch“. Die tatsächliche Texterstellung wird zunehmend zu einer Zusammenarbeit, bei der die KI Entwürfe liefert, der Mensch recherchiert und ein weiteres Tool die Korrektur übernimmt.

Die Frage sollte nicht sein, „ob auch nur ein Buchstabe von KI beeinflusst wurde“. Wichtiger ist, wo KI eingesetzt wurde, wer die Fakten überprüft hat und wer letztendlich die Verantwortung trägt. Auch im Bildungsbereich reicht es nicht aus, KI vollständig zu verbieten und das Erkennungsspiel fortzusetzen, da die Schüler möglicherweise nur lernen, wie man Texte schreibt, die den Score umgehen. Stattdessen ist es wichtig, den zulässigen Umfang, die Meldeverfahren und die Bewertungskriterien klar zu definieren und Aufgaben zu gestalten, bei denen die Schüler ihre Gedanken auch mündlich erklären können.

KI-Detektoren werden auch in Zukunft verbessert und unter bestimmten Bedingungen weiterhin eine nützliche Hilfslinie sein. Doch selbst wenn die Erkennungsrate steigt, bedeutet das nicht, dass gesellschaftliche Urteile automatisiert werden sollten. Manchmal sind die über einen längeren Zeitraum dokumentierten Erstellungsprozesse stärkere Beweise als die in Sekunden ermittelten Zahlen.

Was wir schützen sollten, ist nicht die vage „Menschlichkeit“. Es geht um die Genauigkeit, Einzigartigkeit, Transparenz und Verantwortung der Informationen. Vertrauen im KI-Zeitalter entsteht nicht aus Texten, die von Maschinen nicht erkannt werden können, sondern aus Texten, die erklären können, wie sie erstellt und überprüft wurden.


Quellen-URL

Verwandte Artikel