Die Falle des generativen KI-Nachhilfelehrers: Die Realität des "Leistungsabfalls", die eine Fehlererkennungsrate von 15 % zeigt

Die Falle des generativen KI-Nachhilfelehrers: Die Realität des "Leistungsabfalls", die eine Fehlererkennungsrate von 15 % zeigt

2025年11月22日 12:49

Wie sehr kann man dem "AI-Lehrer" vertrauen?

— Die "Versprechen" und "Fallstricke" der generativen KI-Chatbot-Bildung

Sowohl an Universitäten als auch in Unternehmensschulungen ist es mittlerweile alltäglich geworden, bei Unklarheiten zunächst ChatGPT zu befragen.
Inmitten dieser Entwicklung gibt es weltweit Bestrebungen, den "AI-Nachhilfelehrer" ernsthaft in den Unterricht zu integrieren.


Eine aktuelle Studie eines Teams der Stevens Institute of Technology hat jedoch eine ziemlich ernüchternde Realität für diesen Traum vom "AI-Lehrer" aufgezeigt.


"Lernende konnten im Durchschnitt nur etwa 15 % der falschen Antworten des Chatbots korrekt erkennen"— und diese Fehler führten dazu, dass die Testergebnisse erheblich sanken.Phys.org


Zusammenfassung der Studie:

"Der absichtlich fehlerhafte AI-Lehrer" und 177 Lernende

Das Forschungsteam entwickelte einen Chatbot, der Statistik für Anfänger lehrt und schuf eine Umgebung, die einer realen Online-Lernplattform ähnelt.Phys.org

  • Teilnehmer: Universitätsstudenten und erwachsene Lernende, insgesamt 177 Personen

  • Lerninhalt: Grundlagen der Statistik

  • Umgebung:

    • Freie Fragestellung an den Chatbot

    • Gleichzeitige Nutzung von Online-Lehrbüchern und Suchmaschinen erlaubt (="Open-Book"-Zustand)

    • Unter den Antworten des Bots war ein "Problem melden"-Button angebracht,und für das Erkennen und Melden von Fehlern gab es eine kleine Belohnung.


Allerdings waren in diesem Bot **absichtlich fehlerhafte Antworten** integriert, die das Forschungsteam im Voraus eingefügt hatte.
Zum Beispiel wurden statistische Definitionen leicht verdreht oder Berechnungsergebnisse absichtlich verfälscht — Informationen, die zwar relevant für den Lerninhalt, aber definitiv falsch waren.Phys.org


Die Rolle der Teilnehmer war einfach.

"Löse Probleme mit Hilfe des AI-Lehrers und melde, wenn du Unstimmigkeiten in den Antworten findest."

Selbst unter diesen Bedingungen waren die Ergebnisse ziemlich ernüchternd.


Schockierende Zahlen:

Fehlererkennungsrate von 15 %, Lernergebnisse unter 50 %

1. Die Wahrscheinlichkeit, Fehler zu bemerken, lag bei nur etwa 15 %

"Wenn dir etwas komisch vorkommt, melde es und du bekommst Geld."
Lehrbücher und Suchmaschinen konnten frei genutzt werden.
Trotzdemkonnten die Lernenden im Durchschnitt nur etwa 15 % der falschen Antworten des Chatbots korrekt melden.


Das bedeutet,in 8 bis 9 von 10 Fällen wurden die Antworten einfach geglaubt.


2. Der Einfluss auf die Leistung war "drastisch"

Noch gravierender war der Einfluss auf dieLernergebnisse.

  • Gruppe, die auf falsche Antworten stieß
    → Korrektheitsrate bei Übungsaufgaben:25–30 %

  • Gruppe mit fehlerfreiem Bot (Kontrollgruppe)
    → Korrektheitsrate bei denselben Aufgaben:60–66 %

Es gab einenUnterschied von "halbierten" Testergebnissen.


"Wenn es nur ein bisschen falsch ist, ist es insgesamt doch nützlich, oder?"
— Diese optimistische Erwartung scheint angesichts dieser Studienergebnisse ziemlich gefährlich zu sein.


Wer sind die "verletzlicheren Lernenden"?

Das Forschungsteam analysierte auch,welche Lernenden anfälliger für die Fehler des Chatbots sind.


Besonders betroffen waren:

  • Personen mit wenig Vorwissen im Fachgebiet

  • Personen mit wenig Erfahrung im Umgang mit Chatbots

  • Nicht-muttersprachliche Englischsprecher

  • Weibliche Teilnehmer (mit tendenziell größerem Leistungsabfall)

Auch das Vertrauen in den Bot war entscheidend.
Teilnehmer, die dem Chatbot weniger vertrauten, hatten eine höhere Wahrscheinlichkeit, Fehler korrekt zu melden.


Anders ausgedrückt,

je mehr man denkt, "die KI ist sicher klüger als ich"
oder "sie erklärt so flüssig, sie muss recht haben"

, desto eher übersieht man Fehler— eine ironische Situation.


Wie wird es in den sozialen Medien aufgenommen?

Dieser Artikel ist noch recht neu und wird gerade auf Plattformen wie X (ehemals Twitter) und Facebook von Phys.org und dem Stevens Institute of Technology geteilt.Facebook


Basierend auf bisherigen Online-Diskussionen zu ähnlichen Studien und Nachrichten über "KI und Bildung" lassen sich die Reaktionen auf die aktuellen Ergebnisse grob in drei Kategorien einteilen.dsgains.pitt.edu


1. "Das war zu erwarten" aus der Bildungspraxis

Unter Lehrern und Bildungsforschern ist die Meinung verbreitet,

  • "Deshalb habe ich immer gesagt, dass 'AI-basierter Unterricht' gefährlich ist."

  • "Eine Fehlererkennungsrate von 15 % ist auch aus praktischer Sicht nachvollziehbar."

  • "Ohne vorherige AI-Literacy-Schulung kann der Einsatz der Hauptdienste kontraproduktiv sein."

Diese Kommentare sind besonders häufig zu hören.
Lehrer, die ChatGPT bereits zur Unterstützung von Aufgaben verwenden, haben oft die Erfahrung gemacht, dass die Fehler der KI direkt in den Antworten der Schüler auftauchen, und sehen diese Studie als "quantitative Bestätigung".


2. "Deshalb ist der richtige Umgang entscheidend" von den AI-Befürwortern

Auf der anderen Seite gibt es von Ingenieuren und der EdTech-Community, die der AI-Nutzung positiv gegenüberstehen, Stimmen wie:

  • "Jedes Werkzeug hat Fehler. Wichtig ist das 'Fehler-voraussetzende Design'."

  • "Auch menschliche Vorträge enthalten Fehler. Nur die KI herauszugreifen, ist unfair."

Diese Stimmen sind ebenfalls zu hören.


Diese Gruppe interessiert sich mehr für die Diskussion darüber, **"wann und wie man mit Einschränkungen verwendet"** anstatt für ein "Verbot oder vollständige Einführung".


3. Die ehrliche Meinung der Lernenden: "Wie sehr kann ich darauf vertrauen?"

Von Studenten und erwachsenen Lernenden hört man:

  • "Letztendlich möchte ich, dass jemand einen Maßstab dafür festlegt, wie sehr ich der KI vertrauen kann."

  • "Es ist schneller als zu googeln, also nutze ich es trotz gewisser Risiken."

Diese "schwankende Ehrlichkeit" ist deutlich zu erkennen.
Für diejenigen, die AI zur Überprüfung ihres Verständnisses nutzen, sind die Ergebnisse dieser Studie, die zeigen, dass man Fehler der KI oft nicht bemerkt, besonders beunruhigend.


Was macht es so schwierig:

"Die Fähigkeit zur Überprüfung" und "die Überzeugungskraft der KI"

Beim Lesen dieser Studie und verwandter Arbeiten lassen sich die Kernprobleme in zwei Hauptpunkte unterteilen.sundaram.cs.illinois.edu


1. Für Anfänger ist die "Überprüfung" an sich schwierig

  • Mit nahezu null Fachwissen

  • und bei spezialisierten Themen

  • flüssig erklärende AI-Antworten

auf ihre Richtigkeit zu prüfen, ist an sich schon eine große Herausforderung.

Viele Teilnehmer urteilten

  • "Es widerspricht nicht meinem Wissen, also ist es in Ordnung."

  • "Es gibt korrekte Formeln und Fachbegriffe, also wird es schon stimmen."

basierend auf einem **"gefühlten Eindruck"**.


Aber Anfänger haben oft ein unsicheres "eigenes Wissen".
Infolgedessennehmen sie fehlerhafte Erklärungen einfach hin.


2. KI verwendet eine "überzeugend menschliche Ausdrucksweise"

Große Sprachmodelle sind sehr gut darin, **einen menschlichen Stil und eine logische "Richtigkeit"** zu erzeugen.
Dies führt gleichzeitig zu folgenden Illusionen:

  • Flüssige Erklärungen → "Klingt wie ein Experte"

  • Selbstbewusster Ton → "Muss richtig sein"

Auch in dieser Studie wurde gezeigt,dass Personen mit hohem Vertrauen in den Chatbot eher

← Zurück zur Artikelliste