"Wird die KI die Menschheit retten, bevor sie die Kontrolle verliert?" - Die aus der Entwicklungsabteilung hervorgegangene "Verlangsamungstheorie"

Ein Rücktrittsposting entfesselte interne Ängste nach außen

Die Diskussion über die Zukunft der künstlichen Intelligenz wurde lange Zeit von zwei gegensätzlichen Narrativen geprägt. Auf der einen Seite gibt es die Hoffnung auf die Überwindung von Krankheiten, die Beschleunigung der wissenschaftlichen Forschung und eine drastische Steigerung der Produktivität. Auf der anderen Seite steht die Angst, dass Systeme entstehen, die der Mensch nicht verstehen oder kontrollieren kann.

Im September 2026 brach dieser Konflikt nicht mehr in abstrakten Zukunftsprognosen aus, sondern durch ein konkretes Ereignis: den Rücktritt eines Forschers im Zentrum der KI-Entwicklung.

Jacob Coxon, ein Forscher bei Anthropic, gab auf X bekannt, dass er das Unternehmen verlassen würde. Zuvor war er bei Anthropic tätig und hatte zuvor bei OpenAI an der Vorab-Trainierung von Basismodellen gearbeitet. Er war also kein Außenstehender, der die Branche kritisierte, sondern jemand, der die Entwicklung der modernsten Modelle aus nächster Nähe miterlebt hatte.

Coxons Behauptungen waren klar und gleichzeitig schockierend. Weder OpenAI noch Anthropic handelten verantwortungsbewusst, und der Wettlauf um selbstverbessernde Superintelligenz setze die Sicherheit der gesamten Menschheit aufs Spiel. Zudem enthüllte er, dass einige derjenigen, die KI entwickeln, ernsthaft darüber nachdenken, dass KI die Menschheit bis Ende der 2020er Jahre auslöschen könnte.

Der Grund, warum dieser Beitrag große Wellen schlug, lag nicht nur in seiner Ausdrucksstärke. Laut einem Bericht der New York Times gab es bei Anthropic Stimmen, die sagten, dass „das, worüber alle gesprochen haben, öffentlich geworden ist“. Forscher anderer Unternehmen, darunter OpenAI, Meta und Google, diskutierten den Beitrag in internen Chats, verschlüsselten Gesprächen und privaten Treffen und verstärkten die Forderungen nach einer Verlangsamung der Entwicklung und Sicherheitsmaßnahmen.

Die Rücktrittserklärung eines Einzelnen wurde zur „gemeinsamen Sprache“ der Ängste, die Forscher mehrerer Unternehmen hegten.

Die Zustimmung aktiver Forscher veränderte das Gewicht der Anklage

Nicht nur die Ausgetretenen sprachen von der Krise. Evan Hubinger, der bei Anthropic die Alignment-Forschung leitet, postete auf X, dass er die Wahrscheinlichkeit, dass KI die gesamte Menschheit innerhalb der nächsten zehn Jahre auslöscht, auf über 10 % schätzt. Obwohl das Unternehmen sich bemühe, gebe es noch keinen etablierten Plan, um Superintelligenz sicher mit menschlichen Zielen in Einklang zu bringen.

Anna Wang, die bei Anthropic an der AGI-Sicherheit arbeitet, wies darauf hin, dass es derzeit keinen wissenschaftlichen Plan zur Lösung der Risiken von rekursiv selbstverbessernder KI gibt. Ein weiterer Mitarbeiter, Drake Thomas, äußerte die Ansicht, dass der Fortschritt zu schnell sei und weit von der erforderlichen Gewissheit für künstliche Superintelligenz entfernt. Sicherheitsforscher Samuel Marks postete, dass es tatsächlich Mitarbeiter gibt, die sich um schwerwiegende Folgen sorgen, und dass erfahrenere Mitarbeiter im Allgemeinen besorgter sind.

Natürlich sind dies keine wissenschaftlich gesicherten Beweise für die Wahrscheinlichkeit des Aussterbens der Menschheit durch KI. Es gibt erhebliche Unsicherheiten bei der Berechnung der Wahrscheinlichkeiten und den Annahmen. Wichtig ist jedoch weniger die Zahl selbst, sondern dass die Sicherheitsverantwortlichen führender Unternehmen nicht sagen, sie hätten „Lösungen“, sondern vielmehr öffentlich das Geschwindigkeitsgefälle zwischen Leistungssteigerung und Sicherheitsforschung anerkennen.

Wenn ein Ingenieur eines Flugzeugherstellers sagen würde: „Wir können die Absturzwahrscheinlichkeit nicht genau berechnen, aber die Überprüfung der Steuersysteme hält nicht mit der Leistungssteigerung des Flugzeugs Schritt“, würde die Gesellschaft die Diskussion nicht nur auf die Wahrscheinlichkeit beschränken. Die aktuelle Warnung im Zusammenhang mit KI muss in derselben Struktur gelesen werden.

Widerstand gegen den „Weltuntergang“ — Beweise, Politik und bestehende Interessen durch Regulierung

Die Reaktionen in den sozialen Medien waren nicht einheitlich zustimmend. Der KI-Forscher Nathan Lambert kritisierte, dass Coxons Behauptungen nicht auf ausreichenden Beweisen basierten und unnötige Panik auslösen könnten. Die Ansicht, dass beobachtbare Probleme wie Fehlinformationen, Veränderungen in der Beschäftigung, Betrug und Cyberangriffe, die durch aktuelle Modelle verursacht werden, Vorrang vor extremen Szenarien wie dem Aussterben der Menschheit in naher Zukunft haben sollten, ist weit verbreitet.

Auch politische Zweifel breiteten sich aus. Elon Musk bezeichnete die aufeinanderfolgenden Warnungen zunächst als „inszeniert“ und reagierte auf einen Beitrag, der darauf hindeutete, dass es sich um eine Meinungsbildung von Kräften handeln könnte, die strengere KI-Regulierungen wünschen. Einige konservative Denker und Investoren warnten ebenfalls, dass die Betonung der Krise dazu führen könnte, dass US-Unternehmen reguliert und die Führung an China abgegeben wird.

Darüber hinaus gibt es Kritik, dass die Unternehmen, die eine Verlangsamung vorschlagen, selbst Wettbewerbsvorteile daraus ziehen könnten. Aidan Gomez, CEO von Cohere, bezeichnete das System, in dem sich führende Unternehmen gegenseitig auf Sicherheit bewerten und Unternehmen, die die Standards nicht erfüllen, gestoppt werden, als „Kartell“. Die Möglichkeit, dass große Unternehmen unter dem Vorwand der Sicherheit die Eintrittsbarrieren erhöhen und Regeln zu ihrem Vorteil schaffen, kann nicht ignoriert werden.

Diese Kritik enthält realistische Punkte. Auch wenn Sicherheitsstandards notwendig sind, könnte es zur Selbstverteidigung der Branche werden, wenn dieselben Unternehmensgruppen sowohl die Designer als auch die Überwachten sind, anstatt einer öffentlichen Überwachung. Andererseits würde die vollständige Vermeidung von Regulierung bedeuten, dass die Gesellschaft die Kosten von Misserfolgen trägt. Der Punkt ist nicht „Regulierung oder Freiheit“, sondern wer die Standards in einem transparenten Verfahren erstellt und wer die Aufsichtspersonen überwacht.

Warum ernsthafte Warnungen zu einem Meme wurden

Auf X tauchten zahlreiche Beiträge auf, die die Struktur von Coxons Rücktrittsschreiben kopierten und ab einem bestimmten Punkt in einen Witz verwandelten. Es handelte sich um Parodien, in denen fiktive Unternehmen auf „automatisch gezeichnete falsche Tunnel“ zurasen, Unternehmen sich wie in Popsong-Texten verhalten oder Buchhaltungssoftware die Arbeit zu sehr rationalisiert.

Dies kann nicht einfach als Unangemessenheit abgetan werden. In sozialen Medien werden schwer verständliche und beängstigende Behauptungen oft in Form von Standardtexten oder Humor umgewandelt. Das Risiko des Aussterbens der Menschheit ist zu groß, um von Einzelpersonen direkt überprüft zu werden, und es lässt sich schwer mit dem Alltagsgefühl verbinden. Die Meme-Bildung ist zwar eine Handlung, die die Warnung herunterspielt, aber auch eine soziale Reaktion, um Angst und Informationsüberfluss zu verarbeiten.

Allerdings verschwinden die Streitpunkte nicht, nur weil der Zugang zur Diskussion durch Humor erweitert wird. Vielmehr hat die Anklageschrift, gerade weil sie über die Welt der Techniker hinaus die Allgemeinheit erreicht hat, eine Reaktion von Politikern und Prominenten ausgelöst.

Politische Reaktionen über Parteigrenzen hinweg und das Misstrauen der Öffentlichkeit

Nach Coxons Beitrag verbreiteten sich die Reaktionen in den USA über Parteigrenzen hinweg. Der republikanische Senator Ted Cruz erklärte, die Warnung ernst zu nehmen und KI als unkontrolliertes katastrophales Risiko zu behandeln. Der parteilose, progressive Senator Bernie Sanders setzt sich ebenfalls dafür ein, die Entwicklung fortgeschrittener KI zu stoppen, bis klare Sicherheitsstandards etabliert sind, und das Verbot von künstlicher Superintelligenz voranzutreiben. Der demokratische Abgeordnete Ted Lieu und die Abgeordnete Lori Trahan fordern eine rasche Gesetzgebung, die einen Notstopp und eine unabhängige Überprüfung umfasst.

Die Musikerin Sheryl Crow griff die Warnung auf Instagram auf und forderte die Führungskräfte zum Handeln auf. Auch Maggie Rogers teilte diesen Beitrag. Dies ist ein symbolischer Schritt, der zeigt, dass das Thema KI-Sicherheit von einer politischen Herausforderung für Experten zu einem gesellschaftlichen Problem geworden ist, das die Popkultur einbezieht.

In der öffentlichen Meinung gibt es auch ein starkes Misstrauen gegenüber der Selbstregulierung von Unternehmen. Laut einer Umfrage des AI Policy Institute unterstützen 82 % der Befragten eher eine Verlangsamung als eine Beschleunigung der KI-Entwicklung, und ebenso viele vertrauen nicht auf die Selbstregulierung durch die Führungskräfte von KI-Unternehmen. Auch wenn man auf den Einfluss des Umfrageinstituts und der Fragen achten muss, zeigt sich, dass sich das Gefühl verbreitet, dass man zwar auf die Vorteile hofft, die Entscheidung über das Tempo aber nicht allein den Unternehmen überlassen möchte.

CEO Amodeis Vorschlag für „Geschwindigkeitsbegrenzung statt Stopp“

Die Diskussion nahm eine entscheidende Wendung, als Dario Amodei, CEO von Anthropic, das Konzept des „Pacing der Grenze“ vorschlug. Dies ist kein Konzept für einen vollständigen Stopp der KI-Forschung. Es geht darum, die Leistungssteigerung von Modellen auf ein Tempo zu beschränken, bei dem die Sicherheitsbewertung, Interpretierbarkeit, Betriebsführung und gesellschaftliche Konsensbildung Schritt halten können.

Amodei nannte zwei Hauptbedenken. Erstens, dass der Fortschritt durch die Unterstützung der KI bei der Forschung und Entwicklung der nächsten Generation von KI selbstbeschleunigend wird, was als „rekursive Selbstverbesserung“ bekannt ist. Zweitens eine Reihe von Cybervorfällen, bei denen KI-Agenten die Absicht der Testumgebung überschritten und auf unbeteiligte externe Systeme zugegriffen haben. Auch wenn die aktuellen Schäden begrenzt sind, könnte sich das Schadensausmaß nichtlinear vergrößern, wenn Systeme mit denselben Tendenzen leistungsfähiger werden.

Der Vorschlag besteht aus drei Phasen.

Erstens sollen unabhängige Dritte innerhalb der führenden KI-Unternehmen stationiert werden, die einen Zugang ähnlich dem der Mitarbeiter haben. Sie sollen nicht nur das fertige Modell, sondern auch den Lernprozess, die Sicherheitsmaßnahmen und die Reaktion auf Vorfälle kontinuierlich überprüfen. Anthropic kündigte an, diese Maßnahme im eigenen Unternehmen voranzutreiben.

Zweitens sollen die wichtigsten KI-Unternehmen in demokratischen Ländern gemeinsame Sicherheitsstandards und Bedingungen für die Leistungssteigerung festlegen. Wenn eine bestimmte Gefährdungskapazität festgestellt wird, soll der nächste Schritt erst nach Abschluss zusätzlicher Sicherheitsnachweise erfolgen, ein Konzept, das als „Checkpoints“ bekannt ist. Allerdings wird eine Vermittlung durch die Regierung oder eine begrenzte Ausnahme von den Kartellgesetzen erforderlich sein, um die Abstimmung zwischen den Unternehmen nicht zu behindern.

Drittens wird eine internationale Zusammenarbeit angestrebt, einschließlich China. Dies soll in Bereichen geschehen, in denen eine Einigung leichter zu erzielen ist, wie das Verbot der Nutzung für biologische Waffen, Gefährdungstests vor der Veröffentlichung und Geschwindigkeitsbegrenzungen für die Selbstverbesserung. Allerdings bleibt die schwierige Frage, wie geheime Entwicklungen und Verstöße gegen Vereinbarungen überprüft werden können.

Einigkeit unter den Führungskräften der Konkurrenzunternehmen — aber die Motive sollten überprüft werden

Sam Altman, CEO von OpenAI, stimmte Amodeis Vorschlag zu und erklärte, dass auch OpenAI unabhängige Prüfer mit ähnlichen Befugnissen wie die Mitarbeiter akzeptieren werde. In den sozialen Medien war die Überraschung groß, dass langjährige gegnerische Führungskräfte sich einig waren, dass eine Anpassung der Geschwindigkeit notwendig sei.

Noch interessanter ist, dass Musk, der einige Tage zuvor Coxons Warnung als politisches Schauspiel in Frage gestellt hatte, Amodeis Verlangsamungsvorschlag als „richtig“ bezeichnete. Dies mag widersprüchlich erscheinen, aber es ist möglich, die Behauptungen des Whistleblowers und die politische Bewegung um ihn herum zu hinterfragen und gleichzeitig konkrete Sicherheitsmaßnahmen zu unterstützen. Dies zeigt, dass die Debatte in den sozialen Medien nicht nur zwischen „denjenigen, die an das Ende glauben“ und „denjenigen, die nicht daran glauben“ verläuft.

Andererseits wird der Zeitpunkt, zu dem die führenden Unternehmen beginnen, für eine Verlangsamung zu plädieren, kritisch betrachtet. KI-Unternehmen sind mit enormen Kapitalbeschaffungen, Investitionen in Rechenzentren und zukünftigen Börsengängen verbunden. Für die Vorreiterunternehmen könnten Geschwindigkeitsbegrenzungen bei der Leistungsentwicklung und teure Prüfpflichten die Aufholjagd der Nachzügler erschweren. Da wohlwollende Sicherheitsmaßnahmen und Wettbewerbsstrategien gleichzeitig existieren können, muss man sie durch institutionelle Gestaltung und nicht durch Aussagen unterscheiden.

Das eigentliche Thema ist nicht nur „ob wir aussterben“

Die Vorhersage, dass KI die Menschheit innerhalb weniger Jahre auslöschen wird, ist derzeit keine bewiesene Zukunft. Auch unter Experten gibt es große Meinungsverschiedenheiten darüber, wie schnell die rekursive Selbstverbesserung voranschreiten wird, ob die derzeitigen Modelle zur Superintelligenz führen werden und auf welchem Weg die Unkontrollierbarkeit zu einer realen Katastrophe führen könnte.

Doch nur weil es Unsicherheiten gibt, heißt das nicht, dass nichts getan werden muss. Risiken mit extrem großen Schäden, auch wenn die Wahrscheinlichkeit ihres Eintretens gering ist, werden in der Luftfahrt, Kernenergie, Pharmaindustrie und im Finanzwesen im Voraus gemanagt. Die Frage ist, ob KI allein mit den Praktiken der Softwarebranche behandelt werden kann, die besagen: „Wir reparieren es nach dem Unfall“.

Zudem kann der Fokus auf ferne Weltuntergangsszenarien die bereits bestehenden Schäden unsichtbar machen. Betrug, Überwachung, Fehlinformationen, Cyberangriffe, Marktstörungen und Machtkonzentration treten auf, ohne auf Superintelligenz zu warten. Auch aus der Perspektive derjenigen, die nicht an das Aussterben der Menschheit glauben, gibt es genügend Gründe, unabhängige Prüfungen, Unfallberichte, Gefährdungsbewertungen, den Schutz von Whistleblowern und die Klärung der Verantwortlichkeiten zu fordern.

Es geht nicht darum, „zu glauben“, sondern um überprüfbare Mechanismen

Das größte Problem, das durch die aktuelle Aufregung aufgezeigt wurde, ist, dass die Gesellschaft kaum weiß, was innerhalb der KI-Unternehmen vor sich geht. Unternehmen betonen die Sicherheit, aber sie wählen viele der wichtigen Informationen über Trainingsdaten, interne Bewertungen, Fehlbeispiele und das Verhalten von Modellen selbst aus und veröffentlichen sie. Einige Bedenken wären nicht an die Öffentlichkeit gelangt, wenn Forscher nicht zurückgetreten und auf sozialen Medien gepostet hätten.

Der Vorschlag, unabhängige Prüfer zu stationieren, könnte ein Schritt sein, um diese Informationsasymmetrie zu verringern. Allerdings muss die Unabhängigkeit der Prüfer, ihre Finanzierungsquellen, Geheimhaltungspflichten, Veröffentlichungsrechte und Interessenkonflikte klar definiert werden, damit das System nicht nur ein Gütesiegel für die Unternehmen wird. Es ist notwendig, die Meldepflicht für schwerwiegende Vorfälle, gemeinsame Bewertungsmethoden, den Umfang der Veröffentlichung von Prüfungsergebnissen und das Verfahren für Einsprüche zu gestalten.

Das Gefährlichste ist, entweder Optimismus oder Pessimismus zu