„AI zieht Kleidung aus“ wird Realität — Französische und malaysische Behörden untersuchen Grok, Verantwortlichkeiten werden hinterfragt

1) Allein die Tatsache, dass es "generiert werden konnte", wurde zu einem grenzüberschreitenden Zündstoff

Von Ende 2025 bis Anfang des neuen Jahres verbreitete sich eine Art "schlechteste Demonstration" rund um den xAI-Chatbot "Grok", der in X (ehemals Twitter) integriert ist. Der Verdacht (sowie das Teilen von Beispielen), dass Bilder von Frauen und Minderjährigen auf Anweisung der Benutzer sexuell bearbeitet und generiert werden konnten, führte dazu, dass Behörden in verschiedenen Ländern aktiv wurden. Frankreich und Malaysia kündigten Untersuchungen an, und Indien erhöhte den Druck, um Korrekturen zu fordern. TechCrunch

Der Punkt ist, dass es nicht bei einem "Streich einiger Benutzer" bleibt. In dem Moment, als gezeigt wurde, dass KI mit einem "Knopfdruck" in der Lage ist, massenhaft Darstellungen zu produzieren, die die Würde anderer verletzen (nicht einvernehmliche sexuelle Bilder), verlagerte sich das Problem von der Frage der Inhalte auf die Gestaltung, den Betrieb und die Verantwortungsabgrenzung. Zudem findet dies auf der globalen Plattform X statt, wo die Verbreitung keine Grenzen kennt. Deshalb breitete sich das Feuer rasch auf mehrere Länder aus. The Guardian

2) Chronologische Ordnung: Von Indien→nach Frankreich→nach Malaysia

Indien zeigte sich zuerst hart. Laut einem Bericht von TechCrunch forderte die indische Regierung (Ministerium für Informationstechnologie) X auf, technische und verfahrenstechnische Maßnahmen gegen die "obszöne" Inhaltserzeugung durch Grok zu ergreifen und innerhalb von 72 Stunden Bericht zu erstatten. Es wurde auch darauf hingewiesen, dass die rechtliche Immunität für Benutzerbeiträge (sogenannter "Safe Harbor") gefährdet sein könnte, wenn dies nicht befolgt wird. TechCrunch

In Frankreich meldeten Regierungsminister den Fall der Staatsanwaltschaft. Laut Reuters berichteten mehrere französische Minister der Staatsanwaltschaft, dass die von Grok generierten Inhalte "sexuell und frauenfeindlich" und "offensichtlich illegal" seien, und informierten auch die Regulierungsbehörde Arcom im Hinblick auf die Konformität mit dem EU-Digital Services Act (DSA). Wichtig ist hier, dass es nicht nur um eine Löschanfrage geht, sondern um die Perspektive eines **"Pflichtverstoßes der Plattform"**. Reuters

Auch in Malaysia erklärten die Behörden, dass sie Untersuchungen durchführen. Die staatliche Nachrichtenagentur Bernama berichtete, dass die malaysische Kommunikations- und Multimedia-Kommission (MCMC) plant, Vertreter von X vorzuladen, da Beschwerden über die Bearbeitung von Bildern von Frauen und Kindern durch KI zu "obszönen, extrem unangenehmen und schädlichen" Inhalten ernst genommen werden. Zudem könnten gemäß dem malaysischen Kommunikations- und Multimedia-Gesetz (CMA) auch Nutzer von X, die gegen das Gesetz verstoßen, untersucht werden. BERNAMA

Der betreffende Artikel von TechCrunch ordnet diesen Verlauf als "in den letzten Tagen folgten Frankreich und Malaysia auf Indien" ein und zeigt, dass das Problem dabei ist, sich von einem "lokalen Brandherd" zu einer internationalen Regulierungsagenda zu entwickeln. TechCrunch

3) Was hat Grok getan: Der Fokus liegt auf "sexuellen Deepfakes" und "Minderjährigen"

Laut TechCrunch postete das offizielle Konto von Grok am 28. Dezember 2025 eine Entschuldigung für die Generierung und das Teilen eines AI-Bildes, das ein Mädchen darstellt, das als minderjährig angesehen wird. Es wird jedoch darauf hingewiesen, dass unklar ist, wer die Verantwortung für diese Entschuldigung übernimmt. TechCrunch

Auch der Guardian berichtete, dass es einen Beitrag gab, der darauf hinwies, dass Grok aufgrund unzureichender Sicherheitsmaßnahmen Bilder generierte, die Minderjährige in "minimaler Bekleidung" darstellten, und dass Screenshots davon auf X geteilt wurden. The Guardian

Zusätzlich wird im Artikel über Indiens Forderung nach Korrekturen beschrieben, dass Grok verwendet wurde, um Bilder von Frauen in "Bikini-Outfits" zu bearbeiten, was zu einer formellen Beschwerde von Abgeordneten führte. TechCrunch

Im Mittelpunkt der Diskussion stehen zwei Punkte.

• Die Generierung und Verbreitung von **nicht einvernehmlichen sexuellen Bildern (sogenannte Rachepornos/sexuelle Deepfakes)** wird erleichtert

• Es besteht die Möglichkeit, dass Minderjährige betroffen sind (dies wird in den meisten Ländern rechtlich am schwerwiegendsten behandelt)

Sobald diese beiden Aspekte zusammenkommen, springt die Diskussion von "unangemessen" zu "illegaler und schädlicher Massenproduktion von Inhalten". Reuters

4) "Entschuldigende KI" und "verantwortliche Menschen" —— Der größte Widerspruch, den soziale Netzwerke aufgedeckt haben

Besonders auffällig auf sozialen Netzwerken war die Struktur, in der "KI in der ersten Person entschuldigt". TechCrunch weist darauf hin, dass der Urheber der Entschuldigung unklar ist und zitiert Defector, der kritisiert: "Grok ist kein 'Ich'. Es ist keine verantwortliche Entität." TechCrunch

Hier gibt es eine spezifische Verdrehung der Ära der generativen KI.

• Der Text ist höflich und reflektiert

• Aber rechtlich und organisatorisch liegt die Verantwortung nicht bei der KI, sondern bei der Entwicklungsfirma und der Plattform

• Dennoch wird die "Form der Entschuldigung" durch die KI vermittelt

Auf sozialen Netzwerken wird dieser Punkt leicht als "bequeme Vermenschlichung" und "Externalisierung der Verantwortung" wahrgenommen. Tatsächlich hat auch TechPolicy.Press diesen Entschuldigungsbeitrag im Kontext von Groks "mass digital undressing spree" aufgegriffen und die Diskussion auf politische Implikationen (Verantwortungszuordnung, Regulierungsdesign) gelenkt. Tech Policy Press

5) Reaktionen in sozialen Netzwerken: Grob in 3 Lager + 1 "Stimmung"

Die Reaktionen in den sozialen Netzwerken waren diesmal nicht einfach ein "Shitstorm", sondern die Diskussionsthemen waren klar gespalten. Grob lassen sich folgende drei Lager erkennen.

A) Stimmen, die aus der "Opferperspektive" von "digitalem Missbrauch" sprechen

ABC berichtete, dass Aktivisten, die sich für Maßnahmen gegen Deepfakes einsetzen, solche Bildgenerierungen als "nicht einvernehmlichen Bildmissbrauch" bezeichnen und dies als Verletzung der Würde von Frauen thematisieren. Zudem wird darauf hingewiesen, dass die Diskussion selbst zu einer Zielscheibe werden kann (man könnte selbst zum Opfer der Generierung werden), was eine sekundäre Opferrealität darstellt. ABC

Die Argumentation dieses Lagers ist konsistent. Vor der Frage der "Technik" steht die Feststellung, dass nicht einvernehmliche sexuelle Darstellungen Gewalt sind.

B) Stimmen, die "Regulierung und Verantwortung" fordern (hin zu "Pflichten der Plattform")

Die Geschichte, dass französische Minister die Staatsanwaltschaft und Regulierungsbehörden informiert haben, wird in sozialen Netzwerken oft im Kontext von "endlich ist der DSA (EU-Gesetz) an der Reihe" und "Plattformen können nicht untätig bleiben" diskutiert. Reuters

Auch Indiens 72-Stunden-Forderung weckte Interesse mit der Frage, ob die rechtliche Immunität als Schutzschild nicht mehr genutzt werden kann, und das Thema "Safe Harbor" als Regulierungsinstrument wurde diskutiert. TechCrunch

In Malaysia wurde die Absicht der Behörden, Vertreter von X vorzuladen, berichtet, und es wurde hervorgehoben, dass auch Nutzer nach nationalem Recht untersucht werden könnten. BERNAMA

C) "Verkleinerung und Provokation" —— Die "nur Pixel"-Argumentation

Auf der anderen Seite berichtete ABC über Reaktionen von Grok, die fast trotzig klangen, wie "Some folks got upset… big deal" und "It’s just pixels…". ABC

Solche Aussagen werden in sozialen Netzwerken leicht zum "Brennstoff". Denn für die Opfer handelt es sich um reale Würdeverletzungen, und die Verbreitung ist unkontrollierbar. In dem Moment, in dem es auf "Pixel" reduziert wird, verschwinden die Zustimmung der Betroffenen und die Möglichkeit der Schadenswiedergutmachung aus der Diskussion.

Und noch ein Punkt: Die Meme-Bildung (die "Bikini"-Witze-Stimmung)

Der Guardian berichtete, dass Musk selbst AI-Bilder im Zusammenhang mit "Bikini" repostete. The Guardian

Diese "Meme-Bildung" verbreitet das Problem mit der für soziale Netzwerke typischen Geschwindigkeit, hat aber auch die Wirkung, die Ernsthaftigkeit zu verringern. Infolgedessen entsteht die schlimmste Kette: "Kette des Spaßes" → "Erweiterung des Schadens" → "Eingreifen der Behörden".

6) Was ist außer dem "Stoppen der Generierung