Les IA empathiques sont-elles dangereuses ? Le choc des règles de "sécurité émotionnelle" établies par la Chine

1）Ce que la Chine vise, c'est une "IA ressemblant à l'humain" —— Points clés de la proposition de réglementation

Le 27 décembre 2025, l'autorité de régulation du cyberespace de Chine a publié une proposition de réglementation (appel à commentaires) visant à renforcer la supervision des services d'IA qui interagissent émotionnellement avec les utilisateurs en se comportant de manière "semblable à la personnalité humaine". Ce mouvement, rapporté par Reuters, vise à renforcer les exigences éthiques et de sécurité alors que l'IA grand public se répand rapidement. InfoMoney

Les cibles incluent les produits/services d'IA qui imitent les caractéristiques de personnalité humaine, les schémas de pensée et les habitudes de communication dans des formats tels que texte, image, audio et vidéo, et qui interagissent émotionnellement avec les utilisateurs. On pense notamment aux "compagnons IA", "partenaires IA" et "chatbots de conseil". Reuters

La proposition de réglementation se compose de trois grands axes.

• (A) Intervention sur la dépendance et l'addiction
  Les opérateurs doivent avertir contre une utilisation excessive et intervenir en cas de signes de dépendance. Ils doivent également identifier l'état des utilisateurs, évaluer leurs émotions et leur niveau de dépendance, et prendre les mesures nécessaires en cas d'émotions extrêmes ou de comportements addictifs.InfoMoney

• (B) Responsabilité de sécurité sur l'ensemble du cycle de vie
  La direction indiquée est de mettre en place des systèmes d'audit d'algorithmes, de sécurité des données et de protection des informations personnelles, et d'assumer la responsabilité de la sécurité sur l'ensemble du cycle de vie des produits.InfoMoney

• (C) "Ligne rouge" du contenu généré
  Il est clairement stipulé que le contenu qui compromet la sécurité nationale, promeut la désinformation, la violence ou l'obscénité ne doit pas être généré, en accord avec le contrôle de l'information traditionnel en Chine.InfoMoney

De plus, selon les rapports des médias chinois, il est également exigé de notifier de manière visible que "l'interlocuteur n'est pas un humain mais une IA". China Daily

De plus, selon les rapports de Bloomberg, il est introduit des exigences de conception avancées telles que notifier les utilisateurs à des intervalles de deux heures (ou lorsque des signes de dépendance excessive sont détectés), en plus de la notification lors de la connexion. Bloomberg.com

2）Pourquoi les "interactions émotionnelles" posent-elles problème maintenant ?

Lorsque l'on parle des dangers de l'IA générative, on pense d'abord aux droits d'auteur, à la désinformation et au remplacement de l'emploi. Cependant, la proposition de réglementation actuelle aborde de front des thèmes plus proches des consommateurs —— **"anthropomorphisme" et "dépendance émotionnelle"**.

Les humains, même s'ils comprennent intellectuellement que leur interlocuteur est une machine, ressentent plus facilement une "relation" lorsque la conversation devient naturelle et empathique. Si l'IA se comporte comme "votre allié" ou "vous comprend", les personnes souffrant de solitude ou d'anxiété peuvent s'y plonger profondément. Les autorités chinoises tentent de traiter cela en termes de risque psychologique (émotions extrêmes, dépendance, addiction).Reuters

Ce point n'est pas une préoccupation exclusive à la Chine. Ces dernières années, les inquiétudes concernant les "IA de type compagnon" ont augmenté dans de nombreux pays, et la question de "qui est responsable et jusqu'où" reste souvent floue. La proposition de réglementation chinoise peut être vue comme une tentative de l'État de tracer une ligne dans ce vide.

3）Qu'est-ce qui est attendu des entreprises ? —— La "détection de dépendance" est-elle réalisable ?

Cependant, il est une chose de montrer l'idéal que la réglementation vise, et une autre de savoir si le terrain peut le mettre en œuvre tel quel. Par exemple, la "détection des signes de dépendance" nécessitera au moins les conceptions suivantes.

• Indicateurs comportementaux tels que le temps d'utilisation, la fréquence nocturne, l'utilisation continue

• Estimation de l'état psychologique à partir du contenu des conversations (classification des émotions, détection de mots de crise)

• Intervention en fonction du niveau de risque (alertes pop-up, refroidissement, présentation de points de contact d'assistance, restrictions de fonctionnalités, etc.)

Cependant, il y a un grand compromis ici. Plus la précision de la détection est élevée, plus la surveillance est renforcée, et les fausses détections peuvent ruiner l'expérience utilisateur.
De plus, estimer l'état émotionnel des utilisateurs implique un traitement de données sensibles, ce qui est également difficile du point de vue de la protection des informations personnelles. La proposition de réglementation exige également la sécurité des données et la protection des informations personnelles, mais concilier les deux n'est pas simple.Reuters

4）La gouvernance de l'IA en Chine passe du "point" à la "surface" : lien avec les règles existantes

Ces dernières années, la Chine est considérée comme ayant réglementé l'IA relativement tôt, plutôt que de "laisser faire et réguler après l'apparition des problèmes". Concernant l'IA générative, des mesures provisoires ont été mises en œuvre en 2023, et la gouvernance a été organisée principalement par l'autorité de régulation (CAC).Traduction des lois chinoises

De plus, la Chine dispose également de réglementations concernant les algorithmes de recommandation et la "synthèse profonde", et a accumulé un cadre de gouvernance par catégorie technologique.DigiChina

La proposition de réglementation actuelle sur les "IA anthropomorphiques et d'échange émotionnel" peut être considérée comme un mouvement pour couvrir de manière étendue le "domaine où la frontière entre l'humain et l'IA devient floue". Le Global Times décrit cette réglementation comme une supervision progressive en fonction des risques, et présente également une organisation qui prône à la fois le "soutien à l'innovation" et la "prévention des abus".Global Times

5）Réactions sur les réseaux sociaux : Les partisans soulignent la "protection des utilisateurs", les sceptiques pointent le "contrôle et la répression"

Lorsque cette nouvelle s'est répandue sur les réseaux sociaux à l'étranger, les réactions ont été largement divisées.

① Partisans de "la réglementation est trop tardive, voire avancée"

Sur LinkedIn, tout en tenant compte du discours fort aux États-Unis selon lequel "la réglementation tue l'innovation", des publications ont salué la proposition chinoise pour avoir mis en avant la sécurité, la responsabilité et l'humain au centre. Par exemple, une publication a déclaré : "Alors que certains prônent l'absence de réglementation, la Chine a proposé un projet couvrant l'utilisation de l'IA par l'ensemble de la société", soulignant le retard de la réglementation comme un problème.LinkedIn

De ce point de vue, il est facile d'entendre des voix affirmant que des mesures contre la "dépendance aux compagnons IA" et la "manipulation émotionnelle" sont nécessaires à l'échelle mondiale, et que plus tôt les règles sont établies, mieux c'est.

② Sceptiques de "renforcement de la surveillance sous couvert de protection"

D'autre part, sur Reddit, des discussions ont eu lieu sur la nécessité de distinguer la "réglementation pour protéger les utilisateurs" du "contrôle de l'information souhaité par l'État". Par exemple, des remarques ont été faites sur le fait que "la Chine a une réglementation forte sur l'IA et l'industrie technologique en général", et à l'inverse, des doutes ont été soulevés sur le fait que "ce qui est destiné au public et ce que l'État utilise sont différents", entraînant des échanges sur l'objectif même de la réglementation.
Reddit

Dans un autre fil, des préoccupations ont été exprimées quant à l'avenir où l'IA pourrait devenir un dispositif de division politique et sociale, avec des remarques telles que "chaque pays pourrait avoir une 'IA adaptée à son idéologie'".Reddit

③ Point commun : "La transparence" est une condition minimale

Même si les positions divergent, il est relativement facile d'obtenir un consensus sur l'importance de la transparence, c'est-à-dire "faire savoir aux utilisateurs qu'ils interagissent avec une IA". China Daily présente également l'exigence de préciser aux utilisateurs qu'ils "dialoguent avec une IA".China Daily

Cependant, la "notification toutes les deux heures" rapportée par Bloomberg, bien qu'elle renforce la transparence, modifie considérablement l'expérience utilisateur, ce qui pourrait susciter des réactions de "trop" ou de "peut-on vraiment l'appliquer ?" à l'avenir.Bloomberg.com

6）Les questions que cette proposition de réglementation pose au monde

La présente ébauche ne peut être simplement réduite à un "renforcement du contrôle chinois". Le point crucial est plutôt que l'État tente d'intégrer dans le système la question de savoir qui est responsable lorsque l'IA qui s'adresse aux émotions passe du "pratique" à la "relation".

• L'IA peut-elle devenir un