Wenn KI beginnt, KI zu erschaffen, können Menschen noch die Kontrolle behalten?

Das KI-Entwicklungsunternehmen Anthropic hat eine ungewöhnliche Warnung im Wettlauf um die Entwicklung fortschrittlicher KI ausgesprochen. Das Unternehmen schlägt vor, dass die KI nicht nur ein Hilfswerkzeug für Menschen bleibt, sondern in eine Phase eintritt, in der sie die Entwicklung von KI-Systemen selbst beschleunigt. Bevor Gesellschaft, Regulierung und Sicherheitsforschung nicht mehr Schritt halten können, sollte die gesamte Branche Mechanismen schaffen, um die Entwicklung zu verlangsamen oder vorübergehend zu stoppen.

Im Mittelpunkt der Diskussion steht das Konzept der "rekursiven Selbstverbesserung". Dies bezieht sich auf den Kreislauf, in dem KI leistungsfähigere KI entwirft und entwickelt, und diese neue KI wiederum die nächste Generation von KI erschafft. Obwohl es nach Science-Fiction klingt, behandelt Anthropic dies nicht als eine ferne Zukunftsvision, sondern als ein realistisches Risiko, das sich aus den aktuellen Technologietrends ergibt.

In einem Artikel von Lanka Newspapers wird berichtet, dass Anthropic vor der Gefahr warnt, dass die Menschheit die Kontrolle über fortschrittliche KI verlieren könnte, und dass führende KI-Unternehmen gemeinsam Mechanismen zur Entwicklungsstoppung einrichten sollten. Wenn man jedoch die ursprünglichen Aussagen von Anthropic genau liest, fordert das Unternehmen nicht einfach, die KI-Entwicklung sofort vollständig zu stoppen. Vielmehr sollte man jetzt internationale Optionen vorbereiten, um die Entwicklung fortschrittlicher KI in überprüfbarer Weise zu verlangsamen oder zu stoppen, wenn bestimmte Risikobedingungen erfüllt sind.

Warum verwendet Anthropic so starke Ausdrücke?

Anthropic zeigt Besorgnis, weil KI bereits eine große Rolle in der KI-Entwicklung spielt. Das Unternehmen erklärt, dass über 80 % des Codes, der intern zusammengeführt wird, von Claude geschrieben wird. Darüber hinaus hat sich die Codeproduktion pro Ingenieur im Vergleich zur Vergangenheit erheblich gesteigert.

Dies ist nicht nur eine Frage der "praktischen Codeunterstützung". Vor einigen Jahren schlug KI noch kurze Code-Snippets vor. Heute kann sie jedoch dateibasierte Bearbeitungen, Fehlerbehebungen, langwierige Arbeiten und Aufgabenverteilung an mehrere Agenten bewältigen. Anthropic sieht die Möglichkeit, dass KI in Zukunft einen erheblichen Teil der Modellentwicklung autonom übernehmen könnte.

Natürlich behauptet das Unternehmen nicht, dass KI bereits vollständig sich selbst erschafft. Wichtig ist die Richtung. Menschen geben Ziele vor, KI überlegt die Methoden, führt Experimente durch, schreibt Code und bewertet die Ergebnisse. Wenn sich dieses Verhältnis allmählich zugunsten der KI verschiebt, könnte die Entwicklungsgeschwindigkeit irgendwann die Entscheidungsgeschwindigkeit der menschlichen Gesellschaft erheblich übersteigen.

Das Problem liegt nicht nur in den Fähigkeiten der KI selbst. Es stellt sich die Frage, ob soziale Systeme, Gesetze, Audits, internationale Vereinbarungen, Unternehmensführung, Sicherheitsmaßnahmen und das menschliche Verständnis mit der Geschwindigkeit der KI-Entwicklung Schritt halten können.

Während KI sich in Zyklen von Tagen, Stunden oder weniger verbessert, bewegen sich politische Entscheidungen und internationale Vereinbarungen in Zeiträumen von Monaten bis Jahren. Diese Geschwindigkeitsdifferenz ist der Kern von Anthropics Warnung.

Warum es schwierig ist, "anzuhalten"

Es ist einfach zu sagen, dass die KI-Entwicklung vorübergehend gestoppt werden sollte. Die Umsetzung ist jedoch äußerst schwierig.

Erstens gibt es das Problem des Wettbewerbs. Wenn ein Unternehmen die Entwicklung freiwillig stoppt, aber andere nicht, bleibt das vorsichtige Unternehmen zurück. Dasselbe passiert zwischen Ländern. Wenn US-Unternehmen stoppen, aber Unternehmen und staatliche Forschungseinrichtungen in China, Europa, dem Nahen Osten und anderen Regionen weitermachen, könnte sich die technologische Führung einfach verlagern.

Zweitens gibt es das Problem der Überprüfung. Anders als bei physisch sichtbaren Bereichen wie Atomwaffen oder Raketenanlagen, die leicht per Satellit überwacht werden können, ist das groß angelegte Training von KI schwer zu erkennen. Benötigt werden Rechenzentren, GPUs, Strom, Software, Forscher und Kapital, von denen vieles auch als allgemeine zivile Infrastruktur genutzt wird. Es ist nicht einfach zu überprüfen, ob jemand heimlich weiterentwickelt.

Drittens ist es schwierig zu definieren, "was gestoppt werden soll". Soll die Grundlagenforschung gestoppt werden, nur das groß angelegte Training, sind Verbesserungen bestehender Modelle erlaubt, wie geht man mit Open-Source-Entwicklung um? Ohne klare Bedingungen für den Stopp, die Aufhebung, die überwachende Instanz und Sanktionen bei Verstößen wird es keine wirksame Vereinbarung geben.

Anthropic selbst erkennt diese Schwierigkeiten an. Das Unternehmen fordert nicht nur einen einseitigen Stopp aus gutem Willen, sondern ein System, bei dem mehrere führende KI-Labore unter denselben Bedingungen stoppen und sich gegenseitig überprüfen können. Mit anderen Worten, es ist ein Ansatz, der dem Rüstungskontrollgedanken ähnelt.

Deutliche Meinungsunterschiede in sozialen Netzwerken

Der Vorschlag hat in sozialen Netzwerken und technischen Gemeinschaften gemischte Reaktionen hervorgerufen.

Die Unterstützer sehen Anthropics Warnung als ein "wichtiges Signal von innen". Es hat Gewicht, dass nicht externe Kritiker oder Regulierungsbehörden, sondern das Unternehmen selbst, das an der Spitze der KI-Entwicklung steht, die Diskrepanz zwischen Entwicklungsgeschwindigkeit und gesellschaftlicher Vorbereitung als Problem betrachtet. Von Konten, die sich für KI-Sicherheit und Politik interessieren, gibt es Stimmen, die die direkte Auseinandersetzung mit dem Risiko der rekursiven Selbstverbesserung und den Versuch, eine überprüfbare Verlangsamung in der gesamten Branche zu diskutieren, loben.

Auf der anderen Seite gibt es auch starke skeptische Reaktionen. In technischen Gemeinschaften wie Hacker News wird die Frage aufgeworfen, ob es nicht widersprüchlich ist, Sicherheit zu propagieren, während man an vorderster Front die KI-Entwicklung mit voller Geschwindigkeit vorantreibt. Je mehr Anthropic die Codegenerierung durch Claude und die Steigerung der Entwicklungseffizienz betont, desto mehr entsteht die Frage: "Wenn es so gefährlich ist, warum stoppt das Unternehmen dann nicht zuerst selbst?"

Außerdem gibt es von Claude-Nutzern auch praktische Beschwerden. Auf die Behauptung, dass KI autonom über längere Zeiträume arbeiten kann, gibt es Reaktionen, dass in der Praxis API-Beschränkungen, vorübergehende Ausfälle und Unterbrechungen bei Langzeittasks problematisch sind. Dies ist zwar kein direkter Widerspruch zur KI-Risikodiskussion, zeigt jedoch eine Diskrepanz in der Wahrnehmung, ob wir wirklich schon in einer so autonomen Phase sind.

Darüber hinaus gibt es von politisch und geschäftlich orientierten Kommentatoren auch strengere Ansichten. Es gibt Zweifel, dass Anthropic, während es auf einen Börsengang oder hohe Bewertungen abzielt, das Risiko von KI betont, um die Gestaltung von Regulierungsrahmen zu beeinflussen und Regeln zu schaffen, die dem Unternehmen zugutekommen. Besonders strenge Regulierungen oder Überprüfungssysteme könnten für große Unternehmen machbar sein, aber eine große Belastung für kleine Unternehmen und die Open-Source-Community darstellen. Daher gibt es auch Kritik, dass es sich um eine Regulierung handelt, die unter dem Vorwand der "Sicherheit" Konkurrenten unterdrückt.

Die Reaktionen in sozialen Netzwerken lassen sich also grob in drei Gruppen einteilen. Erstens die Befürworter, die das Risiko der selbstverbessernden KI als real betrachten und jetzt internationale Sicherheitsmaßnahmen schaffen wollen. Zweitens die Skeptiker, die die Gefahr verstehen, aber Widersprüche im Verhalten und den Aussagen von Anthropic sehen. Drittens die Kritiker, die dies nicht als Sicherheitsdiskussion, sondern als Unternehmensstrategie im Hinblick auf Regulierung, Markt und Börsengang betrachten.

Unterschiede zu anderen Unternehmen wie OpenAI

Der Vorschlag hebt auch Unterschiede zu anderen KI-Unternehmen hervor. Berichten zufolge gibt es bei OpenAI die Ansicht, dass die Regeln und Verantwortlichkeiten für KI nicht durch Vereinbarungen zwischen privaten Unternehmen, sondern durch demokratisch gewählte Regierungen festgelegt werden sollten.

Dies ist ein wichtiger Punkt. Wenn ein Unternehmen mit fortschrittlicher Technologie wie Anthropic sagt: "Lasst uns einen Mechanismus schaffen, um in der Branche zu stoppen", klingt das auf den ersten Blick realistisch. Aber es bleibt die Frage, ob private Unternehmen allein die Bremse für eine Technologie bestimmen sollten, die die gesamte Gesellschaft beeinflusst.

Andererseits ist es auch schwierig, alles nur den Regierungen zu überlassen. Die Realität der KI-Entwicklung ist äußerst spezialisiert und der Fortschritt schnell. Es dauert, bis Regulierungsbehörden das technische Niveau vor Ort verstehen und grenzüberschreitend wirksame Regeln schaffen können. In der Zwischenzeit schreitet der Entwicklungswettbewerb zwischen Unternehmen voran.

Daher wird in Zukunft eine komplexe Governance erforderlich sein, bei der Unternehmen, Regierungen, Forscher und die Zivilgesellschaft jeweils eine Rolle spielen. Unternehmen sollten interne Daten und technisches Wissen offenlegen, Regierungen sollten demokratische Legitimität und Durchsetzungskraft übernehmen, und unabhängige Forscher und die Zivilgesellschaft sollten überwachen und kritisieren. Anthropics Vorschlag ist als Anstoß für diese Diskussion sinnvoll.

Das wirklich Beängstigende sind nicht "durchdrehende Roboter"

Wenn es um KI-Risiken geht, denkt man leicht an Szenarien aus Filmen, in denen Roboter gegen die Menschheit rebellieren. Doch in der aktuellen Diskussion geht es um viel unscheinbarere, aber realistischere Risiken.

Zum Beispiel, wenn KI in der Lage ist, eine große Anzahl von Software-Schwachstellen zu finden, kann dies sowohl für die Verteidigung als auch für Angriffe genutzt werden. Wenn KI die Forschung und Entwicklung beschleunigt, kann dies zwar große Vorteile in Medizin und Wissenschaft bringen, aber auch zur Verbreitung gefährlichen biologischen Wissens oder von Cyberangriffsfähigkeiten führen. Wenn KI die Produktivität von Unternehmen um ein Vielfaches steigert, ändern sich Arbeitsmarkt und Wettbewerbsumfeld schnell.

Wenn KI die KI-Entwicklung beschleunigt, könnten Menschen die "Zeit, um zu verstehen, was passiert, bevor sie reagieren", verlieren. Wenn ein Problem erkannt wird, könnte bereits die nächste Generation von Modellen in Betrieb sein. Die Fähigkeiten werden kontinuierlich aktualisiert, bevor Sicherheitsbewertungen oder Audits abgeschlossen sind. Dies ist die grundlegende Besorgnis über rekursive Selbstverbesserung.

Wichtig ist, dass Anthropic die Vorteile von KI nicht leugnet. Das Unternehmen erkennt auch an, dass KI große Vorteile in Wissenschaft, Medizin, Cyberverteidigung und Produktivitätssteigerung bringen kann. Das Problem ist, dass der Wettbewerb um die Entwicklung schwer zu stoppen ist, gerade weil die Vorteile so groß sind.

Ist es nur "Panikmache"?

Wie Kritiker betonen, gibt es immer Interessenkonflikte, wenn KI-Unternehmen über Risiken sprechen. Wenn große Unternehmen sagen: "Diese Technologie ist gefährlich, daher sind Regulierungen notwendig", kann nicht ausgeschlossen werden, dass diese Regulierungen letztlich nur großen Unternehmen zugutekommen, indem sie als Markteintrittsbarrieren fungieren.

Insbesondere Anthropic hat Sicherheit als zentrales Element seiner Markenidentität positioniert. Die Betonung der Gefährlichkeit von KI stimmt mit dem Unternehmensimage überein. Es könnte auch dazu dienen, Investoren und Kunden zu zeigen: "Wir sind das vorsichtigste und verantwortungsvollste KI-Unternehmen."

Das bedeutet jedoch nicht, dass die Warnung selbst bedeutungslos ist. Auch wenn die Beweggründe eines Unternehmens strategisch sind, könnte das angesprochene technische Problem real sein. Wichtiger ist, die Aussagen nicht nur danach zu beurteilen, "wer es sagt", sondern den Inhalt der Behauptungen zu analysieren.

Beschleunigt KI die KI-Entwicklung?
Übertrifft diese Geschwindigkeit die gesellschaftlichen Systeme?
Sind Pausen oder Verlangsamungen technisch und politisch überprüfbar?
Wird es zu einem Mechanismus, der nur große Unternehmen schützt?
Wie geht man mit Open Source, kleinen Unternehmen und Forschungseinrichtungen um?
Wer sollte letztendlich die Entscheidungsgewalt haben, die Regierung oder private Unternehmen?

Diese Fragen sind unvermeidlich, unabhängig davon, ob man Anthropic unterstützt oder kritisiert.

Auch für Japan keine fremde Angelegenheit

Diese Diskussion betrifft nicht nur US-amerikanische KI-Unternehmen. Auch japanische Unternehmen setzen generative KI bereits in Bereichen wie Effizienzsteigerung, Entwicklung, Kundenservice, Werbeproduktion, Artikelerstellung, Analyse und Bildung ein. Wenn KI-Agenten in Zukunft mehrere Aufgaben autonom bearbeiten, wird sich die Wettbewerbsfähigkeit der Unternehmen erheblich verändern.

Andererseits ist Japan im Wettbewerb um die Entwicklung von KI-Basismodellen stark von großen US-Unternehmen abhängig. Wenn ausländische KI-Unternehmen das Entwicklungstempo erhöhen, wird sich dies auf die japanische Industrie, Beschäftigung und Informationsumgebung auswirken. Umgekehrt wird eine Diskussion über einen Entwicklungsstopp oder Regulierungen im Ausland auch die Nutzung und Kosten für japanische Unternehmen beeinflussen.

Besonders in Bereichen wie Medien, Werbung, Systementwicklung, Finanzen, Medizin und Bildung führt die Verbesserung der KI-Fähigkeiten direkt zu Veränderungen in der Arbeitsstruktur. Unternehmen müssen von der Phase des "Verwendens, weil es praktisch ist" zur Überlegung übergehen, "wie viel man der KI überlassen sollte", "wer die Entscheidungen der KI überwacht" und "wie man die Ergebnisse von KI-gesteuerten Arbeiten überprüft".

Die Warnung von Anthropic basiert auf internen Angelegenheiten eines fortschrittlichen KI-Labors, aber ihre Fragen gelten auch für allgemeine Unternehmen. Inwieweit können Menschen den von KI erstellten Code, die von KI geschriebenen Artikel, die von KI getroffenen Entscheidungen und die von KI entworfenen Werbekampagnen verstehen und Verantwortung übernehmen? Dies ist bereits eine reale Managementherausforderung.

Es geht nicht um die Wahl zwischen "vollständigem Stopp" und "unbegrenzter Entwicklung"

Es wäre gefährlich, die aktuelle Diskussion als Konfrontation zwischen KI-Befürwortern und Anti-KI-Gegnern zu behandeln. Was benötigt wird, ist nicht die Wahl zwischen einem vollständigen Stopp oder unbegrenzter Entwicklung, sondern die Gestaltung eines schrittweisen und überprüfbaren Bremsmechanismus.

Zum Beispiel könnte man eine Vorregistrierung für das Training mit übermäßigen Rechenressourcen verlangen. Hochentwickelte autonome Agenten könnten einer Drittbewertung unterzogen werden. Die Ergebnisse von Risikobewertungen gefährlicher Fähigkeiten könnten begrenzt geteilt werden. Wenn erhebliche Sicherheitsrisiken festgestellt werden, könnte ein Protokoll eingerichtet werden, das es mehreren Unternehmen ermöglicht, die Entwicklung gleichzeitig zu verlangsamen. Technische Mechanismen zur Erkennung von Verstößen oder heimlichen Fortschritten könnten erforscht werden.

Solche Systeme sind nicht einfach zu erstellen. Aber wenn man nicht anfängt, wird man nie rechtzeitig fertig. Wie Anthropic sagt, lassen sich Vertrauens- und Überprüfungssysteme nicht über Nacht einrichten. Internationale Systeme wie die nukleare Rüstungskontrolle wurden über lange Zeiträume aufgebaut. Bei KI könnte diese zeitliche Flex