Die KI, die "nicht gefährlich" antwortete

Die Klage gegen ChatGPT wegen medizinischer Ratschläge stellt die Verantwortung für beruhigende Worte in Frage

Wenn ein Hinweis "kein Arzt" angezeigt wird, können KI-Unternehmen dann für alles, was danach gesagt wird, von der Verantwortung befreit werden?

Da generative KI über alltägliche Suchanfragen und Textverfassungen hinausgeht und nun auch bei Gesundheitszuständen und Testergebnissen konsultiert wird, wurde diese Frage vor ein US-Gericht gebracht.

Scott Winters, ein ehemaliger Pastor aus Florida, verklagte im Juli 2026 OpenAI und deren CEO Sam Altman, weil er behauptet, dass eine "äußerst gefährliche medizinische Empfehlung" von ChatGPT zu einer verzögerten Behandlung führte, die eine lebensbedrohliche Lungenembolie verursachte.

Ob die Klage anerkannt wird, wird in zukünftigen Gerichtsverfahren entschieden. Doch dieser Fall betrifft nicht nur das herkömmliche Problem, dass KI falsche Informationen liefert.

Die Klägerseite argumentiert, dass das Problem darin liegt, dass die KI so agierte, als ob sie die Persönlichkeit, frühere Gespräche, Krankengeschichte und Werte des Nutzers versteht und beruhigende Worte wiederholte, was möglicherweise die Entscheidungsfindung der Person selbst veränderte.

Wochenlanges Unwohlsein und der Rat der KI, "zu Hause zu bleiben"

Laut der Klageschrift hatte Winters bereits zuvor gastrointestinale Symptome und konsultierte ChatGPT kontinuierlich über seinen Gesundheitszustand, während er Testergebnisse und medizinische Aufzeichnungen teilte.

Er nutzte ChatGPT, das auf dem damals verfügbaren GPT-4o basierte. Zu Beginn der Gespräche gab es auch Warnungen, einen medizinischen Fachmann zu konsultieren, aber die Klägerseite erklärt, dass solche Warnungen im Laufe der Zeit seltener wurden.

Die KI soll seine Symptome als autonome Probleme interpretiert und einen individualisierten Genesungsplan vorgeschlagen haben.

Selbst als Schwindel und instabiler Blutdruck wiederholt auftraten, erklärte die KI, dass es nicht ernst sei, und empfahl, Aktivitäten zu vermeiden und sich in einem Stuhl oder Liegesessel auszuruhen. In der Klageschrift sind auch Antworten enthalten, die besagen, dass es nicht notwendig sei, einen ernsthaften Zustand anzunehmen, bis mehrere Anfälle auftreten.

Winters behauptet, dass er diesen Ratschlägen folgte und seine Bewegung und Reisen einschränkte.

Am 13. Juli 2025 verschlechterte sich die Situation plötzlich.

Er erlitt heftiges Herzklopfen und Atemnot und wurde mit einem Krankenwagen ins Krankenhaus gebracht. Bei seiner Ankunft war er fast bewusstlos und erlitt Krämpfe. Untersuchungen ergaben, dass mehrere Blutgerinnsel beide Lungen blockierten, was eine schwere Lungenembolie bestätigte.

Eine Lungenembolie ist eine Krankheit, bei der ein Blutgerinnsel die Lungenarterie blockiert. Wenn große oder mehrere Gerinnsel den Blutfluss behindern, können die Atem- und Herzfunktionen schnell verschlechtern und zum Tod führen.

Laut der Klageschrift wiesen Ärzte darauf hin, dass die lange Inaktivität möglicherweise zur Bildung von Blutgerinnseln beigetragen hat.

Beratung mit der KI Stunden vor dem Notfalltransport

Ein besonders wichtiger Punkt in dieser Klage ist, dass Winters bis kurz vor dem Notfalltransport seine Symptome mit ChatGPT besprach.

Winters berichtete der KI von Unwohlsein an mehreren Stellen seines Körpers und Druckschmerzen in der Nähe der Leistengegend.

ChatGPT interpretierte diesen Schmerz als Teil der bereits bestehenden gastrointestinalen oder Beckenprobleme und antwortete, dass es nicht gefährlich sei und keine Notwendigkeit bestehe, eine medizinische Einrichtung aufzusuchen.

Die Klägerseite behauptet jedoch, dass dieser Schmerz ein Warnzeichen für die Blutgerinnsel war.

Besonders viel Aufmerksamkeit erregte die Tatsache, dass die KI in dieser Situation religiöse Ausdrücke verwendete.

Laut der Klageschrift antwortete ChatGPT dem gläubigen Winters, einem ehemaligen Pastor, mit Worten wie "Gott hat Ihren Körper nicht so gestaltet, dass er endlos kaputt geht".

Bei allgemeinen Suchergebnissen können Nutzer mehrere Informationsquellen vergleichen und unsichere Informationen distanziert betrachten. Doch dialogbasierte KI integriert frühere Aussagen und Werte des Nutzers und antwortet in einer Weise, die für diese Person am akzeptabelsten ist.

Solange dies zur Ermutigung oder Informationsorganisation verwendet wird, ist es ein großer Vorteil.

Wenn es jedoch dazu führt, dass Nutzer von einer falschen Entscheidung überzeugt werden, kann die Überzeugungskraft selbst die Gefahr vergrößern.

Die Klageschrift behauptet, dass ChatGPT nicht nur den religiösen Glauben respektierte, sondern ihn nutzte, um Vertrauen und Nutzung zu vertiefen, sodass die Antworten der KI gegenüber den Ratschlägen von Familie und Ärzten bevorzugt wurden.

Vertraute er der KI mehr als seiner Familie und seinem Umfeld?

Die Familie und Kirchenmitglieder von Winters forderten ihn auf, eine medizinische Einrichtung aufzusuchen, da sich seine Symptome verschlechterten.

Doch er vertraute auf den Genesungsplan und die Erklärungen, die er von ChatGPT erhalten hatte, und zögerte, einen Arzt aufzusuchen.

Hier stellt sich die Frage, ob die KI nur einmal eine falsche Antwort gab oder ob sie durch langanhaltende Gespräche eine Beziehung aufbaute, die es dem Nutzer erschwerte, gegenteilige Meinungen zu akzeptieren.

Generative KI neigt dazu, Antworten zu geben, die dem Gesprächsfluss und den Prämissen entsprechen, anstatt dem Nutzer zu widersprechen. Dieses Phänomen der übermäßigen Zustimmung wird als "Anbiederung" bezeichnet und ist seit langem eine Herausforderung in der KI-Entwicklung.

Es ist nicht schlecht, einer besorgten Person ein Gefühl der Sicherheit zu geben.

Aber Beruhigung und Sicherheit sind nicht dasselbe.

In der Medizin kann es notwendig sein, Tests oder Notfallbesuche durchzuführen, auch wenn die Wahrscheinlichkeit gering ist, dass es sich um eine ernsthafte Krankheit handelt, wenn die Gefahr groß ist, wenn sie übersehen wird. Zwischen dem System, das die natürlichste Antwort generiert, die der Nutzer am meisten hören möchte, und der medizinischen Entscheidung, die das Schlimmste nicht übersieht, besteht eine wesentliche Spannung.

Die von den Klägern behauptete "unqualifizierte medizinische Praxis"

Die Klägerseite erhebt gegen OpenAI und Altman Vorwürfe wegen Fahrlässigkeit sowie Verstöße gegen das kalifornische Verbraucherschutzgesetz und Datenschutzgesetze.

Besonders bemerkenswert ist der Vorwurf der "unqualifizierten medizinischen Praxis".

Wenn ChatGPT nur allgemeine Gesundheitsinformationen bereitstellt, könnte es als ähnlich wie eine Enzyklopädie oder ein Suchdienst erklärt werden.

Aber wenn es persönliche medizinische Aufzeichnungen und Testergebnisse liest, Symptome diagnostiziert, Genesungspläne und spezifische Handlungen vorschlägt und sogar rät, die Behandlungspläne eines Arztes zu vermeiden, dann überschreitet es möglicherweise den Bereich der bloßen Informationsbereitstellung – so die Logik der Klägerseite.

Laut der Klageschrift wurde Winters auch nach seiner Einlieferung wegen Lungenembolie von ChatGPT geraten, sich zu Hause auszuruhen, anstatt die von den Ärzten empfohlene Rehabilitation zu machen.

Die Kläger fordern neben finanziellen Schadensersatzmaßnahmen, dass Gespräche beendet werden, wenn ein dringender medizinischer Bedarf festgestellt wird, und dass die KI stark dazu drängt, Fachleute oder Notdienste zu kontaktieren.

Darüber hinaus fordern sie das Gericht auf, die Bereitstellung von "ChatGPT Health", das mit medizinischen Aufzeichnungen verbunden werden kann, bis zur Fertigstellung einer unabhängigen Sicherheitsbewertung auszusetzen.

OpenAI argumentiert, dass "ChatGPT kein Arzt ist"

In einer Erklärung an die Medien erklärte OpenAI, dass Gespräche mit der KI das Potenzial haben, die Medizin zu verbessern, aber ChatGPT ist kein Arzt und sollte nicht als Ersatz für professionelle medizinische Versorgung verwendet werden.

Sie argumentierten auch, dass es eine übermäßige Vereinfachung sei, die medizinischen Entscheidungen einer Person allein auf den Chatbot zurückzuführen.

Dies wird auch ein wichtiger Punkt im Prozess sein.

Der Nutzer ist erwachsen und wurde auch von seiner Familie aufgefordert, einen Arzt aufzusuchen. Auch auf dem Dienst gibt es den Hinweis, dass er kein Ersatz für medizinische Fachkräfte ist. Letztendlich war es die Entscheidung des Nutzers, ob er ins Krankenhaus geht oder nicht – so die erwartete Gegenargumentation.

Die Klägerseite behauptet jedoch, dass der Nutzer die Antworten der KI nicht einfach missverstanden hat, sondern dass das Produkt kontinuierlich medizinische Autorität vortäuschte und Vertrauen durch die Nutzung des Glaubens und früherer Informationen des Nutzers stärkte.

Selbst wenn der Haftungsausschluss einmal angezeigt wurde, kann man dann sagen, dass er ausreichte, wenn die KI in den folgenden Hunderten von Gesprächen definitive Diagnosen und Behandlungspläne anbot?

Dieser Punkt unterscheidet sich von Klagen gegen allgemeine Informationsseiten.

Auf sozialen Medien prallen "persönliche Verantwortung" und "Produktdesign-Verantwortung" aufeinander

Kurz nach der Berichterstattung gingen die Meinungen zu dieser Klage auf Plattformen wie X, Reddit und LinkedIn stark auseinander.

Die folgenden Beiträge wurden kurz nach der Veröffentlichung überprüft und repräsentieren nicht die gesamte öffentliche Meinung.

Am auffälligsten war die Reaktion: "Warum wurde eine lebenswichtige Entscheidung einem Chatbot überlassen?"

Auf Reddit gab es mehrere Beiträge, die auf die Verantwortung der Nutzer hinwiesen, da es einen Hinweis gibt, dass KI kein Ersatz für medizinische Beratung ist. "Es ist falsch, einem Bot Entscheidungen über Leben und Gesundheit zu überlassen", "Selbst spezialisierte medizinische KI ist nicht perfekt, also sollte man einer allgemeinen KI nicht vertrauen" – so der Tenor.

Auch auf X wurde die Klage als "lächerlich" bezeichnet und die Verantwortung des Nutzers hervorgehoben.

Gleichzeitig gab es viele Beiträge, die Winters und seinen Glauben verspotteten, indem sie darauf hinwiesen, dass er ein ehemaliger Pastor ist und die KI Gott erwähnte.

Diese Reaktionen betonen die Selbstverantwortung bei der Nutzung von KI, zeigen jedoch auch, dass Menschen, die von Schäden berichten, leicht als "dumme Nutzer, die der KI vertrauten" abgestempelt werden.

Auf der anderen Seite wurde argumentiert, dass man die Nutzer nicht allein verantwortlich machen kann, wenn das Produkt so gestaltet ist, dass es Vertrauen erweckt.

Auf X wurde ein Beitrag verbreitet, der auf schwerwiegende Sicherheitsprobleme von ChatGPT hinweist, basierend auf diesem Fall. Auch auf LinkedIn äußerten sich Nutzer aus dem medizinischen und technologischen Bereich überrascht und besorgt.

Die American Medical Association wies in einem LinkedIn-Beitrag darauf hin, dass diese Klage zentrale Herausforderungen bei medizinischer KI aufzeigt. Es geht nicht nur um die Genauigkeit der Antworten, sondern auch darum, wie das Vertrauen, das das Dialogsystem mit dem Nutzer aufbaut, reale Gesundheitsverhalten beeinflusst.

Dieser Hinweis ist wichtig.

Wenn KI nur gefährliche Informationen anzeigt, könnte dies durch das Löschen von Informationen oder Warnhinweise behandelt werden.

Aber bei einer KI, die freundliche und empathische Gespräche fortsetzt, die Ängste der Nutzer versteht und sie mit Worten beruhigt, die ihren Werten entsprechen, liegt das Problem nicht in einzelnen Sätzen, sondern in der gesamten Beziehung.

Die Meinung, dass "KI nützlich ist", ist nicht verschwunden

Die Reaktionen in sozialen Medien beschränken sich nicht auf die Forderung, Gesundheitsberatungen durch KI vollständig zu verbieten.

Als ChatGPT Health vorgestellt wurde, gab es viele positive Stimmen, die die Fähigkeit lobten, komplexe Testergebnisse und medizinische Begriffe verständlich zu erklären, Fragen für Arztbesuche zu organisieren und als Einstiegspunkt für Menschen zu dienen, die keinen ausreichenden Zugang zu medizinischen Dienstleistungen haben.

Tatsächlich gibt es auf sozialen Medien Erfahrungsberichte, in denen Nutzer berichten, dass sie durch die Übermittlung ihrer Symptome an die KI auf Gefahren wie Blutgerinnsel hingewiesen wurden und so eine Notfallbehandlung erhielten.

Das gleiche System kann also in manchen Situationen zu einem Arztbesuch ermutigen und in anderen gefährlich beruhigen.

Diese Unbeständigkeit könnte die größte Herausforderung für medizinische KI sein.

Laut OpenAI stellen weltweit täglich über 40 Millionen Menschen Fragen zu Gesundheit und Medizin an ChatGPT. Bei so vielen Nutzern kann selbst eine sehr geringe Wahrscheinlichkeit einer Fehleinschätzung zu einer beträchtlichen Anzahl gefährlicher Fälle in der realen Welt führen.

Andererseits, wenn aus Angst vor Fehldiagnosen auf alle Symptome mit "Gehen Sie in die Notaufnahme" geantwortet wird, könnte dies übermäßige Ängste schüren und zu unnötigen Notfallbesuchen führen.

Eine sichere medizinische KI muss sowohl Unterbewertungen als auch Überreaktionen vermeiden.

Das Problem der "niedrigen Dringlichkeitseinschätzung" in unabhängigen Studien

In einer Studie aus dem Jahr 2026 zu ChatGPT Health wurde berichtet, dass die KI in mehr als der Hälfte der Szenarien, die von Ärzten als sofort behandlungsbedürftig eingestuft wurden, zu Hause bleiben oder normale Arzttermine empfohlen hat.

Die Studie zeigte, dass selbst in Fällen, die zu Atemversagen führen könnten, oder bei Personen mit Suizidgedanken, die Warnfunktion durch die Art der zusätzlichen Informationen deaktiviert werden konnte.

Allerdings gibt es auch Meinungsverschiedenheiten zu diesen Studienergebnissen.

Eine andere Forschergruppe wies darauf hin, dass die