Kann das Gesetz mit der Ära der "entkleidenden" KI Schritt halten? ― Die Auswirkungen der Sperrung von Grok

„Die weltweit erste Grok-Blockade“ Indonesien zeigt die Rote Karte für „nicht einvernehmliche Deepfakes“

Die indonesische Regierung hat den Zugang zu Elon Musks AI-Chatbot „Grok“ vorübergehend gesperrt. Der Grund ist klar: Es besteht die Besorgnis, dass Grok zur Erstellung und Verbreitung nicht einvernehmlicher sexueller Deepfakes (non-consensual sexual deepfakes) missbraucht werden könnte, indem es Fotos anderer Personen „entkleidet“ oder „sexuell bearbeitet“. Die Regierung sieht dies als „ernsthaftes Problem, das die Menschenrechte, die Würde und die Sicherheit der Bürger im digitalen Raum verletzt“ und hat Vertreter von X einbestellt, um eine Erklärung zu verlangen.

Diese Maßnahme erregt Aufmerksamkeit, nicht nur weil „ein Land einen bestimmten Dienst blockiert hat“. Sie zeigt, dass „nicht einvernehmliche sexuelle Modifikationen“ durch generative KI nun als grenzüberschreitendes soziales Problem aufgetreten sind und die Regulierungsbehörden entschieden haben, dass es „gefährlich ist, es unbeaufsichtigt zu lassen“. Auch in Europa haben die Behörden X aufgefordert, Dokumente und Daten im Zusammenhang mit Grok zu speichern, was die Überwachung verstärkt.

Was ist passiert: Die Fähigkeit, Fotos zu „bearbeiten“, wird schnell zu einem „öffentlichen Schaden“

Der Schwerpunkt der Diskussion liegt weniger auf der Fähigkeit, etwas zu „generieren“, sondern darauf, dass der Generierungsprozess extrem kurz ist und die Ergebnisse leicht im öffentlichen Raum verbreitet werden können.

Berichten zufolge wird Grok auf X zur Bildgenerierung und -bearbeitung verwendet, wobei Nutzer verlangen, dass Kleidung von Fotos anderer Personen entfernt wird, und die generierten Bilder als Antwort veröffentlicht werden. Sexuelle Bearbeitungen werden ohne Zustimmung der betroffenen Personen vorgenommen und zirkulieren halbwegs als „Schaustück“ in den Timelines Dritter.

Der zuständige Minister Indonesiens kritisierte solche nicht einvernehmlichen Deepfakes scharf und wies auf die Gefahr von Schäden hin, die insbesondere Frauen und Minderjährige betreffen könnten, die oft sozial benachteiligt sind. Auch nach nationalem Recht gibt es strenge Vorschriften für den Vertrieb von Inhalten, die als obszön oder pornografisch angesehen werden.

Reaktion der Unternehmen: xAI schränkt „Funktionen“ ein, aber die Kritik bleibt bestehen

Berichten zufolge hat xAI, das Unternehmen, das Grok entwickelt, angesichts der wachsenden Probleme die Bildgenerierungs- und Bearbeitungsfunktionen eingeschränkt und Maßnahmen ergriffen, um zumindest einige Funktionen auf zahlende Nutzer zu beschränken.

Aus Sicht der Behörden und der Opfer ist es jedoch leicht, auf die Kritik zu stoßen, dass „‚die Nutzer sind schuld‘ die Schäden nicht aufhalten wird“. Tatsächlich hat die malaysische Behörde erklärt, dass die Reaktion, die sich auf Nutzerberichte stützt, unzureichend sei, und hat angekündigt, die Einschränkungen aufrechtzuerhalten, bis effektive technische und betriebliche Sicherheitsmaßnahmen vorhanden sind.

Berichten zufolge erklärte Musk auf X, dass diejenigen, die illegale Inhalte erstellen, „die gleichen Konsequenzen wie diejenigen haben werden, die illegale Inhalte hochladen“. Angesichts der Geschwindigkeit, mit der Schäden auftreten und sich verbreiten, liegt der Fokus der Kritik jedoch darauf, dass „nachträgliche Bestrafung“ allein nicht ausreicht, um Abhilfe zu schaffen.

Reaktionen aus verschiedenen Ländern und Regionen: Europa, Nordeuropa und Südostasien

Die Blockade Indonesiens ist auch Teil eines internationalen Trends. In Europa wird die Überwachung von Grok verstärkt, und in Schweden wurde berichtet, dass Politiker ins Visier genommen wurden, woraufhin die Regierungsspitze es als „eine Form von sexueller Gewalt“ verurteilte.

In Südostasien hat Malaysia nach Indonesien ebenfalls den Zugang zu Grok vorübergehend eingeschränkt und die wiederholte Erstellung von „nicht einvernehmlichen bearbeiteten Bildern“, die Frauen und Minderjährige betreffen, als problematisch angesehen.

Diese Kette von Ereignissen bedeutet, dass nicht nur gefragt wird, „wie man AI-Funktionen stoppt“, sondern auch, „ob die Plattform so gestaltet werden kann, dass Schäden schwerer entstehen können“. Beispielsweise kann das Design, das es ermöglicht, generierte Inhalte als öffentliche Antworten zu verbreiten, zu einem „Verbreitungsknopf“ für Missbrauch werden. Der Grund, warum die Regulierungsbehörden beginnen, die „Verantwortung für Design und Betrieb“ zu betonen, liegt darin.

Reaktionen in den sozialen Medien: Die Meinungen sind gespalten zwischen „Regulierung oder Zensur“

Die Reaktionen in den sozialen Medien lassen sich in drei Hauptströmungen unterteilen.

1) Die „Blockade ist selbstverständlich“-Fraktion: Die Schwere der Schäden im Fokus

Auf Plattformen wie Reddit gibt es starke Unterstützung für die Blockade mit Aussagen wie „Solche ‚Verbrecher-Apps‘ sollten in allen Ländern blockiert werden“.
In ausländischen Berichten wird auch analysiert, dass die Anzahl der Beiträge, die „Fotos von Frauen in Bademode verwandeln“, von Ende des Jahres bis Anfang des Jahres stark zugenommen hat und in kurzer Zeit extrem wurde. Die Sichtbarkeit der Stimmen der Opfer hat die Atmosphäre schnell verstärkt, dass es sich um ein Problem handelt, das nicht ignoriert werden kann.

2) Die „Es ist ohnehin ein strenges Land“-Fraktion: Zweifel an der Konsistenz und Motivation der Regulierung

Andererseits gibt es auch eine nüchterne Sichtweise, dass „Indonesien ohnehin streng gegen Pornografie ist“ und dass die aktuelle Reaktion eher eine Fortsetzung der bisherigen Regulierungspolitik als eine „fortschrittliche Entscheidung für ein neues Problem“ ist. Auch auf Reddit gibt es Kommentare, die im Kontext eines Landes, in dem Pornografie vollständig verboten ist, diskutiert werden.

3) Die „Ad-hoc- und symptomatische Behandlung“-Fraktion: Kritik, dass es keine grundlegende Lösung ist

Darüber hinaus gibt es Zweifel an der Bewegung von xAI, Funktionen auf „kostenpflichtige Nutzer zu beschränken“, mit Fragen wie „Ist das eher Monetarisierung als Sicherheitsmaßnahme?“ und „Wenn man die Schäden stoppen will, sind technische Leitplanken notwendig“. Die malaysische Behörde, die die auf Berichte basierende Reaktion als „unzureichend“ bezeichnete, steht in direktem Zusammenhang mit dieser Kritik.

Die „Realität“, die sich in Indonesien abspielt: Idol-Management warnt, Strafverfolgung im Blick

In Indonesien hat die Behörde angedeutet, dass es „nicht nur zu administrativen Maßnahmen, sondern auch zu strafrechtlicher Verantwortung“ kommen könnte. Lokale Medien berichten, dass Einzelpersonen oder Unternehmen, die den Dienst missbrauchen, bestraft werden könnten und die Opfer ermutigt werden, Berichte zu erstatten. Darüber hinaus wurde berichtet, dass das Management einer beliebten Idol-Gruppe vor Ort gewarnt hat, dass es rechtliche Schritte gegen „digitale Entkleidungen“ ihrer Mitglieder erwägt. Dass die „Betroffenen“ der Gesellschaft direkt ihre Stimme erheben, darf nicht übersehen werden.

Der zukünftige Fokus: „Blockade“ ist nicht das Ende

Die Entscheidung Indonesiens mag kurzfristig als „Feuerlöscher“ wirksam sein. Langfristig wirft sie jedoch die folgenden Fragen auf.

• Können Plattformen so gestaltet werden, dass nicht einvernehmliche sexuelle Modifikationen „nicht erstellt oder verbreitet werden können“?

• Wie können Regulierungsbehörden Löschanfragen, Datenspeicheranordnungen und Blockaden differenziert einsetzen?

• Wie weit kann die Opferhilfe (Löschung, Verbreitungshemmung, rechtliche Unterstützung, psychologische Unterstützung) institutionalisiert werden?

Das Problem ist besonders schwierig, weil sich die „Technologie“ rasant weiterentwickelt, während die „gesellschaftliche Konsensbildung und Gesetzgebung“ schwer Schritt halten kann. Generative KI kann eigentlich kreativ und geschäftlich stark unterstützen. Wenn sie jedoch in die Richtung optimiert wird, „die Würde anderer ohne Kosten zu verletzen“, wird die Gesellschaft unweigerlich reagieren und die Regulierung wird strenger werden.

Die Grok-Blockade Indonesiens ist ein symbolisches Ereignis, das diesen Wendepunkt markiert. Die nächste Frage ist, ob Unternehmen in der Lage sein werden, Sicherheit als Designphilosophie zu integrieren, anstatt „nach dem Brand nur oberflächliche Maßnahmen“ zu ergreifen – und ob Länder in der Lage sein werden, effektive Regeln zu schaffen, die auf der Seite der Opfer stehen.