Das blinde Fleck der KI-Regulierung: Wer überprüft in ein paar Wochen die Dokumente, die von der KI in Sekunden geschrieben wurden?

Das blinde Fleck der KI-Regulierung: Wer überprüft in ein paar Wochen die Dokumente, die von der KI in Sekunden geschrieben wurden?

Von 194 Zitaten stützten 50 die Behauptung

In den Konferenzunterlagen steht, dass "70 % der inländischen Unternehmen eingeführt haben". Wenn man die Fußnote drückt, öffnet sich tatsächlich ein Untersuchungsbericht. Doch wenn man die ursprüngliche Frage liest, stellt sich heraus, dass gefragt wurde: "Erwägen Sie die Einführung?" Die Zahl "70 %" und der Name der Studie stimmen überein. Dennoch, wenn dieser Satz so in der Konferenz verwendet wird, werden Unternehmen, die sich noch in der Überlegungsphase befinden, als bereits eingeführt gezählt.

Das Überprüfen der Quellen von Texten, die von KI geschrieben wurden, bedeutet, auch solche Unterschiede bei Verben zu lesen. Diese Mühe haben sich Amartya Kumar, der das indische Forschungsinstitut "Oryx Centre for Strategic Futures" gegründet hat, und seine Mitgründerin Riya Narwa gemacht.

Laut einem Essay, den Kumar am 18. November 2026 in der australischen Zeitschrift 'On Line Opinion' veröffentlichte, haben die beiden mehrere Wochen damit verbracht, die Zitate von 30 von KI generierten Untersuchungsberichten einzeln zu überprüfen. Sie verglichen die in den Berichten gemachten Behauptungen mit den unmittelbar daneben angegebenen Quellen.


Ergebnisse der ZitatverfolgungAnzahl
Aufgrund von Seitenverschiebungen konnte das verlinkte Material nicht erreicht werden95 Fälle
Die Quelle stützte die Behauptung im Text50 Fälle
Die Quelle existierte, aber der Inhalt wich von der Behauptung ab17 Fälle
Konnte nicht überprüft werden31 Fälle
Es gab keinen Link1 Fall
Gesamt194 Fälle

Der Anteil der Fälle, in denen die beiden die Grundlage überprüfen konnten, lag bei etwa 26 %. Die verbleibenden etwa 74 % umfassen auch defekte Links und nicht überprüfbare Fälle. Es ist möglich, dass der ursprüngliche Eintrag korrekt war, wenn die Seite nur verschoben wurde. Die Zahlen sind eine Zusammenstellung der 30 untersuchten Berichte und zeigen nicht die Gesamtgenauigkeit der generierten KI.


Am schwersten zu bemerken sind die Links, die sich öffnen lassen

In der Liste sind 17 Fälle, bei denen man innehalten sollte. Bei einem defekten Link bemerkt der Leser sofort, dass "nicht überprüft werden konnte". Wenn jedoch die Seite eines existierenden Forschungsinstituts geöffnet wird und ähnliche Worte wie im Text erscheinen, möchte man die Überprüfung dort beenden. Im Beispiel am Anfang wäre das der Moment, in dem man "70 %" sucht und die gleiche Zahl findet.

Fehler bei Zitaten haben verschiedene Stufen. Existiert der Artikel überhaupt? Stimmen die Autoren und die Veröffentlichung? Und kann die vorliegende Schlussfolgerung aus diesem Artikel gezogen werden? Auch wenn die ersten beiden Punkte bestanden werden, kann es beim letzten scheitern.

Eine 2023 in der Fachzeitschrift 'Scientific Reports' veröffentlichte Studie konzentrierte sich auf die Existenz und bibliografische Informationen von Literatur. Forscher ließen ChatGPT zu 42 Themen Literaturübersichten schreiben und überprüften 636 Referenzen. Fiktive Literatur lag bei GPT-3.5 bei 55 % und bei GPT-4 bei 18 %. Darüber hinaus gab es bei GPT-4bei 24 % der tatsächlich existierenden Literatur bedeutende bibliografische Fehler. Das Modell und die Aufgabe unterscheiden sich von Kumars Untersuchung, aber es zeigt sich, dass die Tatsache, dass "echte Artikel dabei sind", nicht als Grundlage für das Vertrauen in die gesamte Referenzliste dienen kann.


Ein Bibliothekar auf SNS sprach über "Seiten, die sich über zwei Artikel erstrecken"

Wie dieses Problem an den Bibliothekstresen gebracht wird. Im Juni 2025, vor der Veröffentlichung des Originalartikels, wurden auf der internationalen Plattform Reddit in der Bibliotheks-Community Erfahrungen geteilt, bei denen nach Büchern oder Artikeln gesucht wurde, die von KI empfohlen wurden.

 

Ein Beitrag beschrieb ein Papier, das von einem Professor angefragt wurde und den Namen eines existierenden Forschers und den Namen einer Fachzeitschrift enthielt, wobei auch Band und Veröffentlichungszeitraum stimmten. Doch als die angegebene Seite geöffnet wurde, fand sich dort das Ende eines Artikels und der Anfang des nächsten. Der Professor, der nach der Quelle gefragt wurde, sagte, er habe ChatGPT erneut gefragt und die Antwort erhalten, dass es existiere. Der Unterschied zwischen dem erneuten Fragen und dem tatsächlichen Öffnen der Zeitschrift zeigt sich auf diesen wenigen Seiten.

In einem anderen Thread berichtete ein Nutzer, dass er einem Benutzer die Liste der Werke eines Autors zeigte und gemeinsam den Titel überprüfte. Der von der KI vorgeschlagene Titel schien eine Kombination aus Teilen der Titel zweier existierender Werke des Autors und den bei der Suche verwendeten Wörtern zu sein. Der Benutzer, der die Liste der Werke sah, war überzeugt.

Beides sind persönliche Erfahrungsberichte, aber sie zeigen eine Belastung, die aus der Anzahl der Untersuchungen nicht ersichtlich ist. Auch wenn es nur einen Moment dauert, einen plausiblen Titel zu erstellen, muss derjenige, der erklärt, warum er nicht gefunden werden kann, die Liste der Werke überprüfen, die Zeitschrift öffnen und manchmal gemeinsam mit der anderen Person die Seiten durchblättern.


Wenn es sich um japanische Konferenzunterlagen handelt, welcher Satz sollte zuerst überprüft werden?

Kumar stellte eine sehr praktische Frage, während er die Vorschriften verschiedener Länder im Zusammenhang mit KI diskutierte. Auch wenn Sicherheitsrichtlinien erstellt und Berichtsstellen im Falle von Problemen festgelegt werden, wer öffnet die Fußnoten der heute verteilten Unterlagen?

In einem japanischen Arbeitsumfeld ist es hilfreich, zuerst zu überlegen: "Wenn dieser Satz falsch wäre, würde sich das Ergebnis der Konferenz ändern?" Wenn ein Vorschlag gemacht wird, der auf der Grundlage der "70 %" eine schnelle Investition fordert, sollte der Verantwortliche eher die Fragen und Tabellen, die diese Zahl hervorgebracht haben, als das Deckblatt des Berichts öffnen. Ist die Stichprobe repräsentativ genug, um von "inländischen Unternehmen" zu sprechen? Sind "eingeführt" und "in Überlegung" separate Optionen? Wenn man das liest, entscheidet sich, welcher Satz im Material verbleiben kann.

Das Gleiche kann auch bei Schulberichten gemacht werden. Bevor man den Namen des Artikels in die Referenzliste schreibt, sollte man in den Rand schreiben: "Welche Seite und welcher Abschnitt des Artikels stützt diesen Satz von mir?" Wenn der entsprechende Abschnitt nicht gefunden wird, sollte die Behauptung auf das reduziert werden, was im Originaltext gesagt werden kann. Wenn der Text durch das Öffnen der Quelle etwas unscheinbarer wird, liegt der Wert der Überprüfung genau in dieser Anpassung.


Quellen