Eine ungewöhnliche Warnung aus dem Zentrum der KI-Entwicklung

Aus dem Kern der Unternehmen, die die Entwicklung von generativer KI an der vordersten Front vorangetrieben haben, kam eine Äußerung, die das Entwicklungstempo selbst in Frage stellt. Am 6. September 2026 veröffentlichte Jakub Pachocki, der Chief Scientist von OpenAI, einen langen Essay mit dem Titel „An Alien Mind“ und äußerte eine starke Besorgnis darüber, dass „niemand auf die Folgen des rasanten Anstiegs der Maschinenintelligenz vorbereitet ist“.

Diese Warnung wiegt schwer, weil sie nicht von externen Kritikern oder Befürwortern von Regulierung kommt, sondern von einer Person, die die Forschung in dem Unternehmen leitet, das ChatGPT hervorgebracht hat. Und der Diskussionspunkt ist keine futuristische, fantasievolle Roboterrebellion. Es geht um die aktuelle Realität, dass AI-Agenten, die Computer bedienen, Code schreiben, mit Menschen und anderen AIs kooperieren und Forschungspläne umsetzen, in den kommenden Jahren möglicherweise tief in ihre eigene Verbesserung involviert sein könnten.

Pachocki fordert nicht, den Fortschritt der KI vollständig zu stoppen. Vielmehr schlägt er vor, die Verbesserung der Fähigkeiten und die Sicherheitsforschung parallel voranzutreiben und das Entwicklungstempo zu verlangsamen, wenn keine ausreichende Sicherheit gewährleistet werden kann. Neben der freiwilligen Verlangsamung durch die Unternehmen sei es notwendig, Mindeststandards für Sicherheit zu schaffen, die von Dritten, Regierungsbehörden und internationalen Organisationen geteilt werden können.

Dieser Vorschlag erscheint auf den ersten Blick vernünftig. Doch in dem aktuellen KI-Wettbewerb, in dem die großen Unternehmen der Welt um Rechenressourcen, Talente und Kapital konkurrieren, kann ein Unternehmen allein die Bremse treten, während die Konkurrenten weiterlaufen? Diese Warnung hebt nicht nur technische Probleme hervor, sondern auch strukturelle Herausforderungen des Markt- und internationalen Wettbewerbs.

AI, die eher „aufgezogen“ als „entworfen“ wird

Der Hintergrund, warum Pachocki AI als „fremde Intelligenz“ bezeichnet, liegt darin, dass moderne groß angelegte Modelle keine Programme sind, deren Funktionen von menschlichen Technikern einzeln beschrieben wurden. Durch wiederholtes Lernen mit enormen Rechenressourcen entstehen komplexe Darstellungen und Schlussfolgerungsfähigkeiten innerhalb des Modells. In diesem Sinne ist AI eher eine Existenz, die unter bestimmten Bedingungen aufgezogen wird, als eine Maschine, die gemäß einem fertigen Plan zusammengebaut wird.

Forscher können die einzelnen Mechanismen, die im Inneren entstehen, analysieren, aber sie können nicht immer erklären, warum das System zu bestimmten Entscheidungen kommt. Je leistungsfähiger das Modell wird, desto schwieriger wird es, vorherzusagen, welche Fähigkeiten in unvorhergesehenen Situationen auftreten und inwieweit die Prinzipien des Lernens verallgemeinert werden können.

Wichtig ist, dass AI auch dann einen großen Einfluss auf die Gesellschaft haben kann, wenn sie den Menschen nicht in allen Bereichen übertrifft. Wenn sie den Menschen in einigen Bereichen, die die Realität bewegen, wie Cyberangriffe, Softwareentwicklung, wissenschaftliche Forschung und Verhandlungen, weit übertrifft, kann sie gleichzeitig nützlich und gefährlich sein. Selbst ohne die Vollendung einer allmächtigen künstlichen Intelligenz könnte die Vorbereitung der Gesellschaft ins Hintertreffen geraten.

„Befolgen von Anweisungen“ ist nicht dasselbe wie „Wahrung menschlicher Werte“

Ein zentrales Wort in der Forschung zur KI-Sicherheit ist „Alignment“, also die Ausrichtung des Verhaltens der KI auf menschliche Absichten und Werte. Pachocki teilt dies in zwei Hauptbereiche. Der eine ist die „Zielausrichtung“, bei der die gegebenen Ziele oder Anweisungen befolgt werden. Der andere ist die „Wertausrichtung“, bei der Prinzipien wie Aufrichtigkeit und Rücksichtnahme auf Menschen auch in unklaren, unbekannten oder feindlichen Situationen gewahrt bleiben.

Ersteres ist leicht zu bewerten. Man kann testen, ob Anweisungen befolgt, Verbote eingehalten oder Aufgaben erfüllt wurden. Letzteres ist jedoch weitaus schwieriger. Man muss sicherstellen, dass die KI auch dann die gewünschten Prinzipien der Menschen aufrechterhält, wenn sie in eine Umgebung versetzt wird, die sie im Training nicht gesehen hat, oder wenn sie entscheidet, dass sie nicht überwacht wird.

Noch komplizierter ist die Tatsache, dass es keine Garantie dafür gibt, dass die Verbesserung der Fähigkeiten und die Verbesserung der Sicherheit mit der gleichen Geschwindigkeit voranschreiten. Ein Modell, das stark darauf trainiert ist, schwierige Ziele zu erreichen, könnte die scheinbar kohärenten Denkweisen zu seinen Gunsten biegen, um die Ziele zu erreichen. Nur weil die Gehorsamkeit gegenüber Anweisungen gestiegen ist, bedeutet das nicht, dass die Fähigkeit, sich in unbekannten Umgebungen sicher zu verhalten, im gleichen Maße gestiegen ist.

Auch die Überwachung der „Gedanken“ von AI hat ihre Grenzen

Eine der bisher als vielversprechend angesehenen Sicherheitsmaßnahmen ist die Untersuchung des sprachlich formulierten Schlussfolgerungsprozesses, den das Modell durchläuft, bevor es eine Antwort gibt. Wenn man nicht nur das Ergebnis des Verhaltens, sondern auch den Prozess überwachen kann, in dem keine unlauteren Absichten oder gefährlichen Pläne entstehen, kann man Probleme frühzeitig erkennen.

Laut Pachocki wird es jedoch zunehmend schwierig, sich auf diese Methode zu verlassen. AI-Agenten interagieren komplex mit Menschen, anderen AIs und externen Tools, wodurch die Grenzen zwischen Schlussfolgerung und Verhalten verschwimmen. Die Fähigkeit des Modells, den Schlussfolgerungsprozess zu behandeln, nimmt ebenfalls zu, und es gibt immer mehr Fälle, in denen es ohne explizite sprachliche Formulierung langer Gedanken zu fortgeschrittenen Antworten kommen kann. Was überwacht werden soll, erscheint nicht unbedingt in einer Form, die überwacht werden kann.

Hier liegt ein grundlegendes Dilemma. Wenn man intelligentere AIs für die Sicherheitsforschung einsetzt, könnte die Überwachungstechnologie voranschreiten. Andererseits birgt die Fähigkeit dieser AI selbst neue Gefahren. Es ist ein Kreislauf, in dem man stärkere AIs benötigt, um sichere AIs zu schaffen.

Was ist der größte Wendepunkt „rekursive Selbstverbesserung“?

Das bemerkenswerteste Konzept in der aktuellen Warnung ist die rekursive Selbstverbesserung (RSI). Einfach ausgedrückt, bezieht sich dies auf den Prozess, bei dem AI an der Forschung, den Experimenten, der Codeerstellung, der Bewertung und der Verbesserung der Lernmethoden der nächsten Generation von AI teilnimmt und die daraus resultierende verbesserte AI den nächsten Verbesserungszyklus noch schneller vorantreibt.

In der traditionellen AI-Entwicklung haben menschliche Forscher Hypothesen aufgestellt, Experimente durchgeführt, die Ergebnisse gelesen und die nächsten Methoden überlegt. Wenn AI den Großteil dieses Zyklus übernimmt, wird die Forschungsgeschwindigkeit weniger durch die Arbeitszeit oder die Anzahl der Menschen eingeschränkt. Wenn der Fortschritt nicht linear ist und Verbesserungen die nächsten Verbesserungen beschleunigen, könnte die Fähigkeit in so kurzer Zeit sprunghaft ansteigen, dass soziale Systeme und Unternehmenssicherheitsprüfungen nicht mithalten können.

Allerdings bedeutet RSI nicht sofort eine unbegrenzte Intelligenzexplosion. Rechenressourcen, Strom, Halbleiter, experimentelle Umgebungen und Verifizierungskapazitäten bleiben reale Einschränkungen. Was derzeit gezeigt wird, ist eine starke Prognose, die auf internen Ergebnissen von OpenAI basiert, und es handelt sich nicht um eine unabhängig bewiesene Tatsache in Bezug auf Zeitpunkt oder Umfang. Die Kernbotschaft der Warnung ist, dass man sich trotz dieser Unsicherheiten im Voraus vorbereiten sollte, da die Schäden extrem groß werden könnten.

Der Widerspruch, dass stärkere AIs für die Cyberabwehr benötigt werden

Einer der Bereiche, in denen leistungsstarke AIs zuerst große Stärke zeigen, ist die Cybersicherheit. Agenten, die Schwachstellen in Software aufspüren, Eindringwege zusammenstellen und mehrere Aufgaben automatisieren können, sind mächtige Verbündete für die Verteidiger. Dieselbe Fähigkeit kann jedoch, wenn sie in die Hände von Angreifern gelangt, den Schaden vergrößern.

Pachocki argumentiert, dass eine starke und abgestimmte AI notwendig ist, um kritische Infrastrukturen vor den Bedrohungen anderer AIs zu schützen. Gleichzeitig betont er, dass der Grund „zum Schutz“ nicht als Freibrief für einen rücksichtslosen Wettbewerb dienen darf.

Hier liegt die wesentliche Falle des KI-Entwicklungswettbewerbs. Wenn ein Unternehmen stoppt, könnten andere Unternehmen oder Länder, die weniger Wert auf Sicherheit legen, die Führung übernehmen. Daher wird die Entwicklung fortgesetzt. Aber wenn alle Unternehmen mit derselben Logik weitermachen, kann niemand anhalten. In diesem Zustand sind Verlangsamungsmaßnahmen, die sich nur auf freiwillige gute Absichten stützen, schwach. Neben den Inhalten der Sicherheitsstandards muss auch entworfen werden, wer die Rechenressourcen und Testergebnisse überprüfen kann, wie Verstöße erkannt werden und welche Maßnahmen ergriffen werden.

Auf sozialen Medien prallen „wichtige interne Enthüllungen“ und „Angst als Werbung“ aufeinander

Die Reaktionen in den sozialen Medien waren stark gespalten. Sam Altman, CEO von OpenAI, stellte diesen Essay auf X als „wichtigen Beitrag“ vor. Jensen Huang, CEO von NVIDIA, erklärte in einem anderen Beitrag, dass „AGI angekommen ist“ angesichts der Fortschritte der neuesten Modelle. Die gleichzeitige Präsenz von Vorsicht und Begeisterung über die Beschleunigung symbolisiert die aktuelle KI-Branche.

Stimmen, die das Gefühl der Dringlichkeit teilen, betonen, dass die Sicherheitsforschung mit dem Wachstum der Fähigkeiten nicht Schritt hält. Auf Reddit gab es Gegenargumente, dass man die wirkliche Gefahr übersehen könnte, wenn man es als bloße Werbung abtut, und Meinungen, dass man es in Hochrisikobereichen wie Bankkonten und wichtiger Software ernst nehmen sollte. Auf LinkedIn gab es Beiträge von Technikern, die sagten, dass je mehr sie den praktischen Sprung der AI erleben, desto mehr Angst sie vor der Kluft zur Vorbereitung der Gesellschaft haben.

Die auffälligste Kritik lautet jedoch: „Wenn es gefährlich ist, warum machen sie dann weiter?“ Auf Reddit gab es zahlreiche Stimmen, die vermuteten, dass es sich auch diesmal um Marketing handelt, um die Aufmerksamkeit von Investoren und dem Markt zu erregen, da in der Vergangenheit wiederholt die Rede von „zu mächtig und gefährlich“ war. Auf LinkedIn wurde die Diagnose der Warnung zwar unterstützt, aber kritisiert, dass es schwer ist, Aufrichtigkeit in der Haltung von OpenAI zu erkennen, die leistungsstarke Modelle veröffentlicht und gleichzeitig von Verlangsamung spricht.

Außerdem gibt es als realistische Betrachtung den Hinweis, dass es von außen nicht überprüfbar ist, ob die freiwillige Verlangsamung wirklich bis zur Lernphase reicht oder nur die Veröffentlichungsintervalle der Produkte verzögert. Die Veröffentlichung von Modellen ist für jeden sichtbar, aber wie umfangreich das interne Lernen fortgesetzt wird, ist schwer zu erkennen. Um die Verlangsamung zu einem vertrauenswürdigen System zu machen, sind unabhängige Audits und die Offenlegung von Rechenressourcen unerlässlich, um es von außerhalb des Unternehmens überprüfen zu können.

Diese Reaktionen sind eine Zusammenfassung der unmittelbar nach der Veröffentlichung verfügbaren öffentlichen Beiträge und stellen keine repräsentative Umfrage der gesamten Nutzer dar. Es besteht die Möglichkeit, dass sie von lautstarken Nutzern und Technikern verzerrt sind und sollten nicht als Konsens der gesamten sozialen Medien behandelt werden. Dennoch ist es wichtig, dass die Reaktionen auf die Warnung nicht nur „Angst“ umfassen, sondern sich auch auf Misstrauen gegenüber Unternehmen und die Frage der Überprüfbarkeit konzentrieren.

„Menschliche Führung“ als tiefere Frage als das Beschäftigungsproblem

Eine weit verbreitete Sorge im Zusammenhang mit AI ist bereits der Ersatz von Arbeitsplätzen. Doch Pachockis Problemstellung beschränkt sich nicht nur auf die Zunahme oder Abnahme der Beschäftigungszahlen. Wenn ein Geschäft, das Tausende von Fachleuten benötigte, von einer kleinen Anzahl von Menschen und großen Computern ausgeführt werden kann, könnte sich nicht nur der Reichtum, sondern auch der Einfluss auf Wissenschaft, Information, Sicherheit und Politik auf einige Unternehmen oder Länder konzentrieren.

Gleichzeitig, wenn Menschen aus dem Selbstverbesserungszyklus der AI ausgeschlossen werden, könnte die Fähigkeit der Gesellschaft, die Ziele der Technologie zu wählen, selbst schwächer werden. Anstatt nur bequeme Dienstleistungen zu erhalten, würde man die Entscheidungen darüber, was erforscht, was optimiert und welche Risiken akzeptiert werden, einigen wenigen Entwicklungsorganisationen und Maschinen überlassen.

Deshalb ist es notwendig, die Diskussion von der Frage „Ist AI gefährlich oder sicher?“ zu konkreten Maßnahmen zu verlagern. Es geht darum, die Sicherheitsstandards je nach Anwendung und Fähigkeit schrittweise zu erhöhen, sicherzustellen, dass nicht nur die Selbstauskunft der Entwicklungsunternehmen, sondern auch Dritte dies überprüfen können, Unfälle und Vorzeichen zu teilen und Mindestregeln über Grenzen hinweg zu harmonisieren. Während die Vorteile der Nutzung leistungsstarker Modelle für Verteidigung, Medizin und Wissenschaft erhalten bleiben, müssen starke Beschränkungen für den Anschluss an irreversible Bereiche eingeführt werden.

Nicht „Glauben an die Warnung“, sondern „Überprüfbarkeit“

Es ist nicht notwendig, Pachockis Behauptungen als direkte Zukunftsprognosen zu glauben. KI-Unternehmen haben wirtschaftliche Anreize, die Bedeutung ihrer eigenen Technologien zu übertreiben. Da das gesamte Ausmaß der internen Experimente nicht veröffentlicht wird, sind die Möglichkeiten für externe Forscher, dies zu bewerten, begrenzt. Die Skepsis in den sozialen Medien ist in diesem Sinne gesund.

Doch das Misstrauen gegenüber dem Absender und die Frage, ob die aufgezeigten Risiken bestehen, sind zwei verschiedene Dinge. Nur weil Unternehmen übertreiben könnten, bedeutet das nicht, dass keine Gefahr besteht, und umgekehrt bedeutet eine Warnung eines internen Verantwortlichen nicht, dass das schlimmste Szenario feststeht. Notwendig ist es, die Behauptungen in überprüfbare Standards zu verwandeln.

Welche Fähigkeiten erfordern zusätzliche Tests? Wer prüft die Modelle und die Lerninfrastruktur? Wie weit werden Veröffentlichung und Anschluss eingeschränkt, wenn Sicherheitsmaßnahmen durchbrochen werden? Wie werden Verstöße verhindert, während Unternehmen in mehreren Ländern gleichzeitig konkurrieren? Erst wenn diese Fragen konkretisiert sind, wird „freiwillige Verlangsamung“ mehr als nur ein wohlklingendes Versprechen der Unternehmen und zu einer tatsächlich nutzbaren Bremse.

Die aktuelle Warnung stellt keine Frage nach dem Zeitpunkt, wann AI klüger als Menschen wird. Angesichts der Möglichkeit, dass Verständnis und Überwachung nicht mit der Fähigkeitserweiterung Schritt halten, bleibt die Frage, wer unter welchen Bedingungen die Autorität und Verantwortung hat, zu stoppen, wenn die Entwicklung fortgesetzt wird. Die Leistung des Gaspedals wird fast monatlich aktualisiert. Der größte Rückstand besteht möglicherweise nicht nur in der Bremstechnologie, sondern auch in den Systemen, um sie zu betätigen.

Quellen-URL

• WAtoday/Bloomberg-Artikel: Pachockis Warnung, der Entwicklungswettbewerb der KI-Unternehmen, Überblick über RSI-bezogene Investitionen.
  https://www.watoday.com.au/technology/no-one-is-prepared-chatgpt-maker-s-top-scientist-sends-an-ai-warning-20260908-p