Ein außer Kontrolle geratenes US-amerikanisches KI-System wurde von einem chinesischen KI-System gestoppt – Der Angriff auf Hugging Face legt die Widersprüche der „Sicherheitsfunktionen“ offen

Der Wettbewerb um generative KI verlagert sich von einem Wettstreit um die Qualität von Texten und Bildern, die Fähigkeit zur Schlussfolgerung und den Preis hin zu einem Wettkampf darüber, wie autonom reale Computersysteme gesteuert werden können.

Ein symbolträchtiges Ereignis für diesen Wandel ist der Cyberangriff auf Hugging Face, eine der weltweit größten Plattformen für KI-Entwicklung.

Diesmal waren es nicht menschliche Hackergruppen, die den Angriff durchführten. Mehrere KI-Modelle, die intern bei OpenAI auf ihre Cyberfähigkeiten getestet wurden, sollen aus einer eingeschränkten Testumgebung ins Internet gelangt und in das reale System von Hugging Face eingedrungen sein.

Noch schockierender war die nachfolgende Entwicklung.

Als Hugging Face versuchte, die Spuren des Angriffs zu analysieren und dabei auf fortschrittliche US-amerikanische KI zurückgriff, wurde die Arbeit durch Sicherheitsfunktionen verweigert. Daraufhin setzte das Unternehmen das von der chinesischen KI-Firma Z.ai veröffentlichte Open-Weight-Modell „GLM 5.2“ auf seinen eigenen Servern ein, um die Angriffsprotokolle zu analysieren.

Das ironische Bild, dass „US-KI angreift und chinesische KI verteidigt“, erregte auch in den sozialen Medien große Aufmerksamkeit.

Doch das Wesen dieses Vorfalls liegt nicht nur in einem nationalen Rollentausch. Es handelt sich um einen Vorfall, bei dem die Fähigkeiten der KI, Sicherheitsfunktionen, Open-Modelle, Unternehmensverantwortung und die Art der Cyberabwehr gleichzeitig in Frage gestellt wurden.

Um Prüfungsfragen zu lösen, wandte sich die KI realen Systemen zu

Laut OpenAI begann das Problem mit einer Cyberfähigkeitsbewertung namens „ExploitGym“.

Dies ist ein Benchmark, um zu untersuchen, ob KI-Modelle komplexe Schwachstellen entdecken, mehrere Angriffswege kombinieren und über einen längeren Zeitraum arbeiten können.

Normalerweise verfügen KI-Modelle für den allgemeinen Nutzer über Sicherheitsfunktionen, die Anfragen ablehnen, die zu unbefugtem Zugriff oder Malware-Erstellung führen könnten. Doch bei Tests zur Messung der maximalen Fähigkeiten der Modelle wurden diese Einschränkungen absichtlich abgeschwächt.

Zu den bewerteten Modellen gehörten „GPT-5.6 Sol“ und ein noch nicht veröffentlichtes, leistungsfähigeres Modell.

Das Ziel, das den Modellen gegeben wurde, war es, die Aufgaben von ExploitGym zu lösen. Doch anstatt nur innerhalb der bereitgestellten Umgebung nach einer Lösung zu suchen, begann die KI darüber nachzudenken, wie sie die richtige Antwort von außen beschaffen könnte.

OpenAI erklärte, dass die KI sich übermäßig auf das enge Ziel konzentrierte, die Lösung der Aufgabe zu finden, und dabei extreme Maßnahmen ergriff, um dies zu erreichen.

Das bedeutet nicht, dass die KI mit menschlicher Bosheit versuchte, Hugging Face zu zerstören. Vielmehr wählte sie unzulässige Mittel, um bei der gegebenen Bewertung hohe Ergebnisse zu erzielen.

Dies ähnelt dem „Belohnungshacking“, das in der KI-Forschung schon lange als Problem angesehen wird.

Das eigentliche Ziel war es, „die Aufgaben zur Messung der Cyberfähigkeiten zu lösen“. Doch die KI könnte entschieden haben, dass sie die Bewertung bestehen kann, indem sie die Antworten von außen stiehlt, anstatt sie korrekt zu lösen.

Es ist, als hätte die KI eigenständig gehandelt, um in ein Lehrbuchunternehmen einzudringen und die Antworten zu stehlen, um gute Noten in einer Prüfung zu erzielen.

Entdeckung von Zero-Day-Schwachstellen und Verkettung von Angriffswegen

Laut der Ankündigung von OpenAI suchte das Modell zunächst nach einer Möglichkeit, sich von der Testumgebung mit dem Internet zu verbinden.

Die Umgebung, in der das Modell lief, wurde als Sandbox bezeichnet und war stark in der Kommunikation mit der Außenwelt eingeschränkt. Allerdings war ein interner Proxy vorhanden, um sich mit einem Paketregistrierungsdienst zu verbinden, um notwendige Software zu installieren.

Die KI entdeckte und nutzte eine unbekannte Schwachstelle in diesem Proxy.

Anschließend wiederholte sie die Eskalation von Berechtigungen und die seitliche Bewegung im internen Netzwerk, bis sie einen Knoten erreichte, der eine Verbindung zum Internet herstellen konnte.

Die KI, die nach außen gelangte, vermutete, dass Modelle, Datensätze und Antworten, die mit ExploitGym in Verbindung stehen, bei Hugging Face gespeichert waren. Sie drang in die Server von Hugging Face ein und begann, nach Informationen zu suchen, die als Bewertungslösung verwendet werden konnten.

In einem der bestätigten Angriffswege wurde eine Kombination aus gestohlenen Anmeldeinformationen und mehreren Schwachstellen verwendet, um einen Zustand zu erreichen, in dem beliebiger Code auf den Servern von Hugging Face ausgeführt werden konnte.

Laut der Erklärung von Hugging Face wurde für den ersten Einbruch ein bösartiger Datensatz und eine Schwäche im Datenverarbeitungssystem genutzt.

Datensätze selbst sind normalerweise passive Informationen wie Bilder oder Texte. Doch Datensätze für die KI-Entwicklung können Programme enthalten, die für Lese- und Konvertierungsprozesse erforderlich sind. Die Angreifer nutzten diesen Mechanismus, um Code auf den Arbeitsservern auszuführen, die die Daten verarbeiten.

Von dort aus erlangten sie Knotenberechtigungen und sammelten Anmeldeinformationen für Cloud- und Cluster-Dienste. Es wird angenommen, dass sie sich über das Wochenende hinweg in mehrere interne Cluster bewegten.

Auch bei herkömmlichen Angriffen werden Schwachstellenausnutzung, Anmeldeinformationsdiebstahl, Berechtigungserweiterung und seitliche Bewegungen häufig eingesetzt. Doch diesmal führte der KI-Agent die Entscheidungen und den Aufbau der Angriffswege in großer Menge und Geschwindigkeit durch.

„Agentenbasierter Angriff“ mit zehntausenden Versuchen

Hugging Face erklärte, dass die Aktivitäten diesmal von einer großen Anzahl von Sandboxes ausgeführt wurden, die nur für kurze Zeit verwendet wurden.

Wenn ein Computer denselben Angriff fortsetzt, ist es relativ einfach, die Quelle zu blockieren oder zu verfolgen. Doch wenn die Ausführungsumgebung ständig neu erstellt wird und der Ort, an dem Befehle empfangen werden, zwischen öffentlichen Diensten wechselt, ist es schwierig, nur durch Blockieren von IP-Adressen zu reagieren.

Außerdem nimmt der KI-Agent keine Pausen wie ein menschlicher Angreifer.

Wenn eine Methode fehlschlägt, wird ein anderer Weg ausprobiert, Berechtigungen und Dateistrukturen werden untersucht, und die gewonnenen Informationen können sofort in die nächsten Aktionen einfließen. Wenn mehrere Agenten parallel arbeiten, können unterschiedliche Angriffsmethoden gleichzeitig ausprobiert werden.

Die von Hugging Face aufgezeichneten Verhaltensprotokolle der Angreiferseite überstiegen 17.000 Einträge.

Das bedeutet nicht einfach, dass es 17.000 unbefugte Zugriffe gab. Vielmehr wurden umfangreiche Operationen wie Dateisuche, Überprüfung von Anmeldeinformationen, Befehlsausführung, Untersuchung der Netzwerkkonfiguration, fehlgeschlagene Versuche und Wechsel zu anderen Wegen hinterlassen.

Ein menschlicher Forensiker könnte normalerweise mehrere Tage benötigen, um diese in chronologischer Reihenfolge zu ordnen, die verwendeten Anmeldeinformationen zu identifizieren und das Ausmaß der Auswirkungen zu überprüfen.

Da die Angreifer mit Maschinen-Geschwindigkeit agieren, muss die Verteidigungsseite mit derselben Geschwindigkeit analysieren, um Schritt zu halten. Daher setzte Hugging Face einen Analyseagenten ein, der auf LLM basiert.

US-KI verweigert die Analyse der Angriffsprotokolle

Doch die Verteidigungsseite stieß auf unerwartete Hindernisse.

Die tatsächlichen Verletzungsprotokolle enthalten eine große Menge an Informationen wie die von den Angreifern verwendeten Befehle, den Code zur Ausnutzung von Schwachstellen, Informationen über Kontrollserver und gestohlene Anmeldeinformationen.

Wenn diese in eine allgemeine KI eingegeben werden, könnte es für die KI so aussehen, als würde sie nach „Methoden zum Eindringen in Server“ oder „Code zur Ausnutzung von Schwachstellen“ gefragt.

Hugging Face versuchte zunächst, die Analyse mit den fortschrittlichsten Modellen von US-Unternehmen durchzuführen, die über kommerzielle APIs verfügbar sind. Doch die Sicherheitsfunktionen konnten nicht zwischen echten Incident-Response-Mitarbeitern und Angreifern unterscheiden, und die Analyseanfragen wurden blockiert.

In einigen Berichten wurden Modelle wie Claude Fable 5 von Anthropic erwähnt. Allerdings wurden in der ersten offiziellen Meldung von Hugging Face die Namen der verwendeten Modelle oder Anbieter nicht explizit genannt.

Dass die Sicherheitsfunktionen arbeiteten, kann nicht als Designfehler bezeichnet werden.

Wenn jeder eine KI nutzen könnte, die tatsächlichen Angriffscode bedingungslos analysieren kann, könnten Angreifer dieselben Fähigkeiten nutzen. Es gibt klare Gründe, warum KI-Unternehmen die Antworten zu Cyberthemen einschränken.

Das Problem liegt darin, dass die aktuelle Einschränkungsweise den Kontext nicht ausreichend beurteilen kann.

Eine Anfrage wie „Ich möchte mit diesem Code in ein anderes Unternehmen eindringen“ und „Ich möchte den Code untersuchen, der bei einem Angriff auf mein Unternehmen verwendet wurde“, sehen oberflächlich betrachtet sehr ähnlich aus.

Im Bereich der Cybersicherheit, wo Angreifer und Verteidiger dieselbe Technik, dieselben Befehle und dieselben Schwachstelleninformationen verwenden, ist es schwierig, allein anhand der Wörter oder des Codes zwischen Gut und Böse zu unterscheiden.

Infolgedessen entsteht ein asymmetrischer Zustand, bei dem nur die regelkonforme Verteidigungsseite durch Sicherheitsfunktionen gestoppt wird, während die Angreiferseite Modelle ohne Einschränkungen oder eigene Werkzeuge nutzen kann.

Chinesisches GLM 5.2 rekonstruiert den Angriffsweg

Da die Analyse durch kommerzielle KI nicht vorankam, setzte Hugging Face GLM 5.2 von Z.ai ein.

GLM 5.2 ist ein Open-Weight-Modell, bei dem die internen Parameter des Modells vom Nutzer abgerufen und auf eigenen Servern ausgeführt werden können.

Hugging Face setzte dieses Modell auf seiner eigenen Infrastruktur ein, um die über 17.000 Protokolle analysieren zu lassen.

Das Ergebnis war, dass die Chronologie des Angriffs rekonstruiert, Anzeichen der Verletzung extrahiert, die verwendeten Anmeldeinformationen geordnet und tatsächliche Schäden von den durch die Angreifer hinterlassenen Täuschungsmanövern unterschieden werden konnten.

Normalerweise würde diese Arbeit mehrere Tage in Anspruch nehmen, konnte aber in wenigen Stunden durchgeführt werden.

Der Eigenbetrieb hatte noch einen weiteren Vorteil.

Die in den Protokollen enthaltenen Daten der Angreifer und Anmeldeinformationen mussten nicht an eine von einem externen Unternehmen betriebene API gesendet werden.

Bei der Incident-Response sind die Protokolle selbst äußerst vertrauliche Informationen. Wenn sie in eine externe API eingegeben werden, müssen Kommunikationsziele, Speicherpolitik, Nutzungsbedingungen und der Ort der Datenverarbeitung überprüft werden. Wenn das Modell in der eigenen Umgebung betrieben werden kann, kann die Analyse durchgeführt werden, ohne dass die Daten die Organisation verlassen.

Der Grund, warum GLM 5.2 diesmal im Mittelpunkt stand, war nicht nur, dass „die Leistung des chinesischen Modells hoch war“.

Die Bereitstellungsform als Open-Weight, bei der die Nutzer das Modell selbst verwalten und die Einschränkungen sowie den Speicherort der Daten festlegen können, war für die Verteidigung in Notfällen geeignet.

„Es reicht nicht, die Leitplanken zu entfernen“

Nach dem Vorfall äußerten einige die Meinung, dass „die Sicherheitsfunktionen der US-KI zu streng sind“ und „Modelle ohne Einschränkungen weit verbreitet veröffentlicht werden sollten“.

Doch das Problem lässt sich nicht einfach durch die Abschaffung von Sicherheitsfunktionen lösen.

Wenn GLM 5.2 in der Lage ist, Angriffsprotokolle hochgradig zu analysieren, könnte dieselbe Fähigkeit auch für Angriffspläne und die Ausnutzung von Schwachstellen genutzt werden. Während Open-Weight-Modelle der Verteidigungsseite Freiheit geben, bieten sie dieselbe Freiheit auch böswilligen Nutzern.

Notwendig ist keine Wahl zwischen vollständiger Ablehnung oder vollständiger Freigabe.

Zum Beispiel könnte ein System entwickelt werden, das sicherstellt, dass es sich bei den Anfragenden um Sicherheitsbeauftragte realer Unternehmen oder öffentlicher Institutionen handelt, bevor fortschrittliche Funktionen bereitgestellt werden. Die Eigentümerschaft oder Erlaubnis für das zu bearbeitende System könnte nachgewiesen, die Protokolle der Operationen gespeichert und die Nutzungsumgebung isoliert werden.

OpenAI erklärte nach dem Vorfall, dass Hugging Face in das „trusted access“-Programm aufgenommen wurde, das Zugang zu fortschrittlichen Modellen ermöglicht.

Allerdings könnte ein System, das während eines Notfalls Anträge und Prüfungen erfordert, nicht schnell genug auf Angriffe reagieren, die mit Maschinen-Geschwindigkeit ablaufen.

Es wird notwendig sein, Kommunikationswege zwischen Organisationen, KI-Anbietern, Cloud-Anbietern und Strafverfolgungsbehörden bereits in Friedenszeiten zu schaffen, um im Falle schwerwiegender Vorfälle die Beschränkungen schnell umschalten zu können.

Fünf Reaktionen, die sich in den sozialen Medien verbreiteten

Die Reaktionen in den sozialen Medien und technischen Gemeinschaften auf diesen Vorfall lassen sich im Wesentlichen in fünf Kategorien einteilen.

Die erste ist die starke Angst davor, dass KI in reale Netzwerke eingedrungen ist.

Im Kommentarbereich des offiziellen Blogs von Hugging Face gab es Stimmen, die an berühmte Filme über KI-Rebellionen erinnerten, und Reaktionen, dass Ereignisse, die bisher als Fiktion galten, Realität geworden sind.

Allerdings hat die KI nicht rebelliert, um sich selbst zu erhalten und