Ist eine einfühlsame KI gefährlich? Der Schock der von China aufgezeigten "Sicherheitsregeln für die Seele"

1）China zielt auf "menschliche AI" ab – Hauptpunkte des neuen Regulierungsentwurfs

Am 27. Dezember 2025 veröffentlichte die chinesische Cyber-Regulierungsbehörde einen Entwurf (zur öffentlichen Konsultation), um die Aufsicht über AI-Dienste zu verstärken, die sich "menschlich" verhalten und emotional mit Nutzern interagieren. Diese Maßnahme, die von Reuters berichtet wurde, zielt darauf ab, die Anforderungen an Ethik und Sicherheit zu verschärfen, während verbraucherorientierte AI schnell Verbreitung findet. InfoMoney

Betroffen sind AI-Produkte/Dienste, die in Text, Bild, Ton oder Video menschliche Charaktereigenschaften, Denkmuster und Kommunikationsgewohnheiten nachahmen und "emotionale Interaktionen" mit Nutzern durchführen. Gedacht ist dabei an sogenannte "AI-Gefährten", "AI-Liebhaber" oder "Berater-Chatbots". Reuters

Der Entwurf umfasst drei Hauptpunkte.

• (A) Eingriff bei Abhängigkeit und Sucht
  Anbieter werden aufgefordert, vor übermäßigem Gebrauch zu warnen und einzugreifen, wenn Anzeichen von Abhängigkeit erkennbar sind. Es wird erwartet, dass sie den Zustand der Nutzer identifizieren, Emotionen und Abhängigkeitsgrad bewerten und bei extremen Emotionen oder süchtigem Verhalten notwendige Maßnahmen ergreifen.InfoMoney

• (B) Sicherheitsverantwortung über den gesamten Lebenszyklus
  Es wird vorgeschlagen, Systeme zur Algorithmusüberprüfung, Datensicherheit und zum Schutz personenbezogener Daten zu etablieren und die Sicherheitsverantwortung über den gesamten Lebenszyklus des Produkts zu übernehmen.InfoMoney

• (C) "Rote Linien" für generierte Inhalte
  Es gibt klar definierte "verbotene Bereiche", die mit der bisherigen Informationskontrolle Chinas übereinstimmen, wie die Erzeugung von Inhalten, die die nationale Sicherheit gefährden, oder die Förderung von Falschinformationen, Gewalt oder Obszönität.InfoMoney

Zusätzlich berichten chinesische Medien, dass auch die Anforderung enthalten ist, "deutlich darauf hinzuweisen, dass der Gesprächspartner kein Mensch, sondern AI ist". China Daily

Laut einem Bericht von Bloomberg wird zudem vorgeschlagen, dass Nutzer nicht nur beim Login, sondern auch alle zwei Stunden (oder wenn Anzeichen übermäßiger Abhängigkeit erkannt werden) benachrichtigt werden.Bloomberg.com

2）Warum wird "emotionale Interaktion" gerade jetzt zum Problem?

Wenn es um die Gefahren von generativer AI geht, werden oft zuerst Urheberrechte, Falschinformationen und der Ersatz von Arbeitsplätzen diskutiert. Doch der aktuelle Regulierungsentwurf befasst sich direkt mit einem Thema, das den Alltag der Menschen näher betrifft – **"Vermenschlichung" und "emotionale Abhängigkeit"**.

Menschen neigen dazu, eine "Beziehung" zu empfinden, je natürlicher und empathischer die Konversation wird, selbst wenn sie wissen, dass der Gesprächspartner eine Maschine ist. Wenn die AI sich als "dein Verbündeter" oder "jemand, der dich versteht" präsentiert, könnten sich besonders einsame oder ängstliche Menschen stärker darauf einlassen. Die chinesischen Behörden versuchen, dies mit Begriffen wie psychologische Risiken (extreme Emotionen, Abhängigkeit, Sucht) zu adressieren.Reuters

Dieses Thema ist nicht nur eine chinesische Angelegenheit. In den letzten Jahren haben sich weltweit Bedenken gegenüber "AI-Gefährten" verstärkt, und es bleibt oft unklar, wer in welchem Umfang Verantwortung trägt. Der chinesische Regulierungsentwurf könnte als Versuch gelesen werden, diese Lücke durch staatliche Vorgaben zu schließen.

3）Was wird von den Unternehmen erwartet? – Ist "Abhängigkeitsdetektion" umsetzbar?

Obwohl die Regulierung ideale Vorgaben macht, ist es eine andere Frage, ob diese in der Praxis umgesetzt werden können. Zum Beispiel erfordert die "Erkennung von Abhängigkeitsanzeichen" mindestens die folgenden Designaspekte:

• Verhaltensindikatoren wie Nutzungsdauer, Häufigkeit in der Nacht, kontinuierliche Nutzung

• Schätzung des psychologischen Zustands aus Gesprächsinhalten (Emotionsklassifizierung, Erkennung von Krisenwörtern)

• Interventionen je nach Risikostufe (Popup-Warnungen, Abkühlphasen, Bereitstellung von Unterstützungsstellen, Funktionsbeschränkungen)

Es gibt jedoch einen großen Trade-off.Je genauer die Erkennung, desto stärker die Überwachung, und Fehlalarme können das Nutzererlebnis beeinträchtigen.
Zudem erfordert die Schätzung des emotionalen Zustands der Nutzer eine sensible Datenverarbeitung, was auch aus Sicht des Datenschutzes eine hohe Herausforderung darstellt. Der Regulierungsentwurf fordert sowohl Datensicherheit als auch den Schutz personenbezogener Daten, aber die Vereinbarkeit ist nicht einfach.Reuters

4）Chinas AI-Governance von "Punkt" zu "Fläche": Verbindung zu bestehenden Regeln

In den letzten Jahren hat China AI relativ frühzeitig reguliert, anstatt es "laufen zu lassen und erst bei Problemen zu regulieren". Für generative AI wurden 2023 vorläufige Maßnahmen eingeführt, und die Governance wurde unter der Leitung der Regulierungsbehörde (CAC) entwickelt.China Law Translate

Darüber hinaus gibt es in China Vorschriften zu Empfehlungsalgorithmen und "Deep Synthesis", die eine schrittweise Governance-Struktur nach Technologiekategorien aufgebaut haben.DigiChina

Der aktuelle Regulierungsentwurf für "vermenschlichte und emotional interaktive AI" kann als eine Bewegung gesehen werden, die **einen neuen Bereich abdeckt, in dem die Grenze zwischen Mensch und AI verschwimmt**. Die Global Times beschreibt diese Regulierung als stufenweise Aufsicht entsprechend dem Risiko und stellt sowohl "Unterstützung von Innovation" als auch "Missbrauchsprävention" in den Vordergrund.Global Times

5）Reaktionen in sozialen Medien: Befürworter sprechen von "Nutzerschutz", Kritiker von "Kontrolle und Einschüchterung"

Als diese Nachricht in den sozialen Medien im Ausland verbreitet wurde, waren die Reaktionen stark gespalten.

① "Die Regulierung kommt zu spät. Eher fortschrittlich"

Auf LinkedIn gibt es Beiträge, die Chinas Entwurf als sicherheits-, verantwortungs- und menschzentriert loben, obwohl in den USA und anderen Ländern oft die Meinung vertreten wird, dass "Regulierung Innovation tötet".Ein Beitrag beispielsweise hebt hervor, dass "während einige für eine unregulierte Nutzung plädieren, China einen Entwurf vorgelegt hat, der die AI-Nutzung in der gesamten Gesellschaft abdeckt", und kritisiert die Verzögerung der Regulierung. LinkedIn

Aus dieser Perspektive wird oft geäußert, dass Maßnahmen gegen "AI-Gefährten-Abhängigkeit" oder "emotionale Manipulation" weltweit notwendig sind und dass die Regelsetzung umso besser ist, je früher sie erfolgt.

② "Ist das nicht verstärkte Überwachung im Namen des Schutzes?"

Auf Reddit hingegen wird diskutiert, dass man zwischen "Regulierung zum Schutz der Nutzer" und "Informationskontrolle, die der Staat wünscht" unterscheiden sollte. Es gibt beispielsweise Hinweise darauf, dass "China in Bezug auf AI und die Tech-Industrie im Allgemeinen stark reguliert ist", sowie Zweifel, dass "das, was für die Öffentlichkeit bestimmt ist, anders ist als das, was der Staat nutzt", was zu Auseinandersetzungen über den eigentlichen Zweck der Regulierung führt.
Reddit

In einem anderen Thread wird die Sorge geäußert, dass "AI, die an die Ideologie eines Landes angepasst ist", zunehmen könnte, was die Befürchtung aufwirft, dass AI zu einem Instrument der politischen und sozialen Spaltung werden könnte.Reddit

③ Gemeinsamer Diskussionspunkt: "Transparenz" als Mindestanforderung

Unabhängig von der Position ist der Punkt, dass "Transparenz, die den Nutzern klar macht, dass sie mit AI interagieren", wichtig ist, relativ unstrittig. Auch die China Daily stellt die Anforderung vor, dass den Nutzern deutlich gemacht werden muss, dass sie mit AI kommunizieren.China Daily

Allerdings könnte die von Bloomberg berichtete "Benachrichtigung alle zwei Stunden" zwar die Transparenz stärken, aber auch das Nutzererlebnis erheblich verändern, was in Zukunft zu Kritik führen könnte, dass dies "übertrieben" sei oder "praktisch nicht umsetzbar".Bloomberg.com

6）Welche Fragen wirft dieser Regulierungsentwurf weltweit auf?

Der aktuelle Entwurf enthält viele Diskussionspunkte, die über eine einfache "Verstärkung der chinesischen Kontrolle" hinausgehen. Der entscheidende Punkt ist vielmehr, dass der Staat versucht, die Frage, wer die Verantwortung übernimmt, wenn AI, die sich an Emotionen anpasst, von "nützlich" zu "beziehungsorientiert" übergeht, in ein institutionelles System zu integrieren.

• Kann AI eine "psychologische Unterstützung" sein oder wird sie zu einem "Abhängigkeitsgerät"?

• Ist die Abhängigkeitsdetektion "Schutz" oder "Überwachung"?##HTML_TAG