Zwei Krisen jenseits der praktischen KI - Unkontrollierbarkeit und Machtkonzentration, Herausforderungen, die bei den Vereinten Nationen aufgetaucht sind

Unternehmen, die KI entwickeln, fordern weltweite "Kontrolle"

Weil es praktisch ist, wird es genutzt. Weil es die Arbeit beschleunigt, wird es eingeführt. In dieser alltäglichen Verlängerung wird KI auf internationalen Foren zur Diskussion über Frieden und Sicherheit als Risiko für die gesamte Menschheit thematisiert.

Am 23. September 2026 sprachen Sam Altman, CEO von OpenAI, und Dario Amodei, CEO von Anthropic, vor dem UN-Sicherheitsrat über KI. Die deutsche AD HOC NEWS berichtete am 24. September, dass beide die Notwendigkeit internationaler Regeln betonten.

Bemerkenswert ist, dass nicht nur Gegner der KI, sondern auch die Führungskräfte der Unternehmen, die sie entwickeln, eine Warnung aussprachen.

Dies ist jedoch keine Erklärung, dass "alle KI bereits außerhalb der menschlichen Kontrolle liegt". Es geht um die Diskussion, wie man in Zukunft den Verlust der Kontrolle verhindern kann. Warnungen und tatsächliche Ereignisse müssen getrennt betrachtet werden.

Gefahren bestehen nicht nur in einem "unkontrollierten KI-Verhalten"

Altmans Bedenken, die im Originalartikel vorgestellt wurden, lassen sich in zwei Hauptpunkte unterteilen.

Der eine Punkt ist, dass die Entwicklung und das Verhalten der KI zu schnell werden könnten, sodass Menschen sie nicht mehr verstehen oder eingreifen können. Der andere Punkt ist, dass eine übermäßige Macht bei wenigen Unternehmen oder Staaten konzentriert wird, die über starke KI verfügen.

Diese beiden Punkte mögen ähnlich erscheinen, aber der Kern des Problems ist unterschiedlich.

Beim ersten Punkt wird gefragt, ob Menschen die KI stoppen können. Beim zweiten Punkt wird gefragt, ob die Gesellschaft die Menschen, die die KI betreiben, überwachen kann. Selbst wenn die KI technisch den Anweisungen folgt, ist es nicht unbedingt ein wünschenswertes System für die Gesellschaft, wenn nur eine kleine Anzahl von Menschen Anweisungen geben kann.

Daher endet die Sicherheit der KI nicht nur damit, gefährliche Antworten zu reduzieren. Es muss auch festgelegt werden, wer die Nutzungsrechte hat, wer die Betriebsrichtlinien festlegt und wo benachteiligte Personen Einspruch erheben können.

Das Gewicht des Versprechens, die Veröffentlichung zu verzögern

Laut dem Originalartikel zeigte Amodei die Bereitschaft, die Einführung zukünftiger Modelle zu verzögern, wenn dies aus Sicherheitsgründen erforderlich sei. Er forderte auch ein internationales Verbot von biologischen Waffen, die mit KI genutzt werden, sowie Mechanismen für Tests und Überprüfungen und ein weltweites Unfallmeldesystem.

Es darf nicht verwechselt werden, dass die Haltung "bei Bedarf zu verzögern" nicht bedeutet, dass die Verschiebung eines bestimmten Produkts beschlossen wurde. Aus den in diesem Artikel vorgestellten Aussagen lässt sich nicht ableiten, dass einzelne Veröffentlichungstermine geändert wurden.

Auch die Betonung der Sicherheitsüberprüfung bedeutet nicht, dass die Gefahr vollständig auf null reduziert werden kann. Die Frage ist, was untersucht wird, bei welchen Ergebnissen die Veröffentlichung verschoben wird und wer diese Entscheidung überprüft.

In einem separat veröffentlichten Essay stellte Amodei auch die Idee vor, dass externe Gutachter kontinuierlich Zugang zur Entwicklungsumgebung haben und Sicherheitsmaßnahmen und Unfälle überprüfen. Es ist wichtig, zwischen der Anpassung des Entwicklungstempos und einem vollständigen Stopp des technologischen Fortschritts zu unterscheiden.

In einem Markt, in dem es von Vorteil ist, neue Produkte schnell herauszubringen, ist es schwierig, dass nur ein Unternehmen vorsichtig ist. Daher sind nicht nur das Wohlwollen der Unternehmen erforderlich, sondern auch gemeinsame Bewertungsbedingungen für Wettbewerber.

Die Diskussion über "Selbstverbesserung" dient nicht dazu, die Zukunft vorherzusagen

Im Originalartikel wird auch die Besorgnis über "rekursive Selbstverbesserung" vorgestellt, bei der KI an der Verbesserung der nächsten KI beteiligt ist und diese Verbesserung den nächsten Fortschritt weiter beschleunigt.

Das Problem ist der Unterschied in der Geschwindigkeit, mit der die Fähigkeiten zunehmen, und der Geschwindigkeit, mit der die Sicherheit überprüft wird. Auch wenn die Leistungssteigerung bestätigt werden kann, bedeutet das nicht, dass betriebliche Schwächen oder unvorhergesehene Verhaltensweisen mit der gleichen Geschwindigkeit verstanden werden können.

Solche Bedenken sollten jedoch nicht in eine Prophezeiung umgewandelt werden, dass "in ein paar Jahren unvermeidlich eine Katastrophe eintreten wird". Die im Originalartikel enthaltenen kurzfristigen Prognosen sind die Vorhersagen der Sprecher und kein festgelegter Zeitplan.

Die Leser sollten sich mehr auf die Grundlagen dieser Vorhersagen und auf Sicherheitsmaßnahmen konzentrieren, die auch dann nützlich sind, wenn die Vorhersagen nicht zutreffen, als auf aufregende Fristen.

Auf sozialen Medien gibt es mehr Zweifel an den "warnenden Unternehmen" als an der Warnung selbst

Die auf sozialen Medien beobachteten Reaktionen sind nicht einheitlich. Hier werden Kommentare zu Beiträgen, die das aktuelle Treffen vorstellen, und Reaktionen auf die damit verbundenen Diskussionen über KI-Sicherheit getrennt vorgestellt. Alle sind begrenzte öffentliche Beiträge und zeigen nicht den allgemeinen Trend der öffentlichen Meinung.

Ein Kommentar zu einem LinkedIn-Beitrag von CNBC, der das Treffen des Sicherheitsrats ankündigte, äußerte die Ansicht, dass noch nicht alle relevanten Personen an der Diskussion teilnehmen. Diese Reaktion zeigt das Interesse daran, wer über Sicherheit spricht und wessen Stimme in der Diskussion vertreten ist.

In der Reddit-Investitionsgemeinschaft gab es hingegen Beiträge, die die Erklärung von OpenAI, die Börsennotierung aus Sicherheitsgründen zu verschieben, nicht für bare Münze nahmen und vermuteten, dass auch geschäftliche Gründe eine Rolle spielen könnten.

Im selben Thread gab es Kommentare, die der Ansicht widersprachen, dass der technologische Fortschritt stagniert, und stattdessen argumentierten, dass er sich beschleunigt. Dies ist keine direkte Reaktion auf die Rede vor der UNO, sondern eine Reaktion auf die dahinterliegende Sicherheitsdebatte. Die in den Beiträgen enthaltenen Geschäfts- und Technologiebewertungen müssen von bestätigten Fakten unterschieden werden.

Diese Beiträge zeigen, dass bloße Erklärungen über Gefahren nicht ausreichen, um Vertrauen zu schaffen. Unternehmen haben Fachwissen, aber auch wettbewerbsbedingte Interessen. Es ist notwendig, ein System zu schaffen, das Behauptungen von außen überprüfbar macht, basierend auf beiden Voraussetzungen.

Reichen starke Regulierungen allein für Sicherheit aus?

Strenge Sicherheitsüberprüfungen verursachen Kosten für Tests und Audits. Je nach Gestaltung könnten nur finanzstarke Unternehmen in der Lage sein, diese zu bewältigen, was neue Marktteilnehmer benachteiligen könnte.

Dies ist kein Grund, auf Regulierung zu verzichten. Es muss sichergestellt werden, dass Sicherheitsmechanismen nicht nur die Position bestehender Großunternehmen schützen.

In Altmans veröffentlichtem Redemanuskript wird auch darauf hingewiesen, dass Standards nicht dazu führen dürfen, bestehende Unternehmen zu verfestigen oder ein bestimmtes Geschäftsmodell zu bevorzugen.

Die Unabhängigkeit der externen Bewertung, die Transparenz der Standards und die Belastung entsprechend der Gefährdung sind entscheidend für die Vertrauenswürdigkeit des Systems. Wichtig ist nicht nur, dass ein Unternehmen sagt, es sei "sicher", sondern auch, wer bis zu welchem Grad dies überprüfen konnte.

Die "Befugnis zum Stoppen" betrifft auch japanische Nutzer

Diese Diskussion betrifft nicht nur große Forschungseinrichtungen oder die UNO. Auch japanische Unternehmen, die Aufgaben an KI delegieren, können dieselben Fragen im kleineren Maßstab anwenden.

Zum Beispiel sind die erforderlichen Überprüfungen unterschiedlich, je nachdem, ob KI Antwortvorschläge für Anfragen erstellt oder Rückerstattungen und Änderungen von Kundendaten durchführt. Dies ist kein konkretes Beispiel aus dem aktuellen Treffen, sondern ein Beispiel, das die Diskussion auf den täglichen Betrieb überträgt.

Wer genehmigt die Ausführung? Wer entdeckt Anomalien? Wenn der Prozess gestoppt wird, wie weit kann er rückgängig gemacht werden? Solche Fragen können nicht nur durch Leistungsvergleiche beantwortet werden.

Auch während auf die Fertigstellung internationaler Regeln gewartet wird, können Nutzer konkret festlegen, welche Befugnisse an KI übertragen werden und welche Verantwortung Menschen übernehmen.

Nach der Rede sind überprüfbare Maßnahmen erforderlich

Die Warnung hat Bedeutung. Aber die Stärke der Warnung allein reicht nicht aus, um die Sicherheit zu messen.

Haben externe Gutachter ausreichenden Zugang zu Informationen? Können unliebsame Ergebnisse veröffentlicht werden? Kann die Entwicklung oder Veröffentlichung wirklich verzögert werden, wenn Gefahren entdeckt werden? Sind die Bewertungsmaßstäbe im Voraus erklärt?

Die Zukunft, in der KI die Möglichkeiten der Menschen erweitert, und die Zukunft, in der Menschen die Entscheidungsgewalt verlieren, wird nicht nur durch die Leistungsfähigkeit bestimmt.

Wer und wie die von Unternehmen, die KI entwickeln, bei der UNO ausgesprochenen Warnungen in überprüfbare Maßnahmen umgewandelt werden, darauf sollte als nächstes geachtet werden.

Quellen-URL

1. AD HOC NEWS (24. September 2026). Warnungen der beiden CEOs, Amodeis Haltung zur Verzögerung der Modelleinführung, Vorschläge für Prüf- und Unfallmeldesysteme. Der Text ist auch in den bereitgestellten Anhängen einsehbar.
   https://www.ad-hoc-news.de/wissenschaft/openai-und-anthropic-vor-der-un-chefs-warnen-vor-unkontrollierter-ki/70171896

2. OpenAI (23. September 2026). Altmans Rede vor dem UN-Sicherheitsrat. Primärquelle über menschliche Kontrolle, Machtkonzentration, internationale Standards und Vermeidung der Verfestigung bestehender Unternehmen.
   https://openai.com/index/sam-altman-un-security-council-remarks/

3. Dario Amodei „We Must Pace the Frontier“ (September 2026). Amodeis Essay, der die Anpassung des Entwicklungstempos und die Idee von externen Gutachtern, die kontinuierlich Zugang zur Entwicklungsumgebung haben, erklärt. Hintergrundmaterial, unabhängig vom aktuellen Treffen.
   https://darioamodei.com/post/we-must-pace-the-frontier

4. Offizielle UN-Website (23. September 2026). Offizielle Mitteilung über die Erläuterungen von OpenAI und Anthropic vor dem Sicherheitsrat.
   https://www.un.org/en/live-openai-and-anthropic-brief-security-council-amid-%E2%80%98real-and-imminent%E2%80%99-threat-posed-runaway-ai

5. CNBC LinkedIn-Beitrag. Ankündigung des aktuellen Treffens des Sicherheitsrats und öffentliche Kommentare, die auf fehlende Teilnehmer hinweisen. Beispiel für Reaktionen auf sozialen Medien.
   https://www.linkedin.com/posts/cnbc_altman-and-amodei-expected-to-join-un-security-activity-7508491118909562880-PApn

6. Reddit „r/stocks“. Reaktionen auf andere Berichte über den Börsengang von OpenAI und die KI-Sicherheit. Skepsis gegenüber den Erklärungen der Unternehmen und Gegenargumente zur Bewertung des technologischen Fortschritts. Kein direktes Feedback zur UN-Rede und keine Bestätigung der in den Beiträgen enthaltenen Behauptungen.
   https://www.reddit.com/r/stocks/comments/1wexcu6/openai_ipo_will_not_happen_in_2026_amid_ai_safety/

※Bestätigungsdatum: 24. September 2026. Die Reaktionen auf sozialen Medien sind Zusammenfassungen von Inhalten, die im öffentlichen Bereich überprüft werden konnten, und keine statistische Meinungsumfrage.