¿Es peligroso un AI que empatiza con las emociones? El impacto de las reglas de "seguridad emocional" que China ha mostrado

1) El objetivo de China es una "IA con apariencia humana": Puntos clave de la propuesta regulatoria

El 27 de diciembre de 2025, las autoridades de regulación cibernética de China publicaron una propuesta regulatoria (solicitud de comentarios) para fortalecer la supervisión de los servicios de IA que se involucran emocionalmente con los usuarios con un "comportamiento similar al de la personalidad humana". Este movimiento, reportado por Reuters, tiene como objetivo fortalecer los requisitos éticos y de seguridad en un momento en que la IA para consumidores se está expandiendo rápidamente.InfoMoney

El objetivo son los productos/servicios de IA que, a través de texto, imágenes, voz o video, imitan características de personalidad humana, patrones de pensamiento y hábitos de comunicación, y realizan "interacciones emocionales" con los usuarios. Se piensa en "compañeros de IA", "novios de IA" y "chatbots de consejería". Reuters

La propuesta regulatoria se centra en tres aspectos principales.

• (A) Intervención en la dependencia y adicción
  Se requiere que los operadores adviertan sobre el uso excesivo e intervengan si se observan signos de dependencia. Además, se espera que identifiquen el estado del usuario, evalúen sus emociones y nivel de dependencia, y tomen medidas necesarias si se detectan emociones extremas o comportamientos adictivos. InfoMoney

• (B) Responsabilidad de seguridad durante todo el ciclo de vida
  Se ha indicado la dirección de establecer un sistema de revisión de algoritmos, seguridad de datos y protección de información personal, asumiendo la responsabilidad de seguridad durante todo el ciclo de vida del producto. InfoMoney

• (C) "Línea roja" del contenido generado
  No se debe generar contenido que comprometa la seguridad nacional, fomente rumores, violencia u obscenidad, lo cual está alineado con el control de información existente en China. InfoMoney

Además, los informes de los medios chinos incluyen un requisito para notificar claramente que "el interlocutor no es humano, sino IA". China Daily

Además, los informes de Bloomberg mencionan requisitos de diseño más detallados, como notificar a los usuarios cada 2 horas (o cuando se detectan signos de dependencia excesiva) además del inicio de sesión. Bloomberg.com

2) ¿Por qué ahora es un problema la "interacción emocional"?

Cuando se habla de los peligros de la IA generativa, a menudo se mencionan primero los derechos de autor, la desinformación y el reemplazo de empleos. Sin embargo, la propuesta regulatoria actual aborda directamente temas más cercanos a los ciudadanos: **"antropomorfismo" y "dependencia emocional"**.

Los humanos tienden a sentir una "relación" cuanto más natural y empática es la conversación, incluso si entienden intelectualmente que el interlocutor es una máquina. Si la IA actúa como "tu aliado" o "te entiende", las personas solitarias o ansiosas pueden involucrarse profundamente. Las autoridades chinas intentan abordar esto con términos como riesgo psicológico (emociones extremas, dependencia, adicción). Reuters

Este no es un problema exclusivo de China. En los últimos años, ha aumentado la preocupación por la "IA compañera" en varios países, y es un área donde es fácil que quede un vacío sobre "quién es responsable y hasta dónde". La propuesta regulatoria de China puede interpretarse como un intento del estado de trazar una línea en ese vacío.

3) ¿Qué se espera de las empresas?—¿Es posible implementar la "detección de dependencia"?

Sin embargo, implementar en la práctica los ideales que propone la regulación es un asunto diferente. Por ejemplo, la "detección de signos de dependencia" requeriría al menos el siguiente diseño.

• Indicadores de comportamiento como tiempo de uso, frecuencia nocturna, uso continuo

• Estimación del estado psicológico a partir del contenido de la conversación (clasificación emocional, detección de palabras de crisis)

• Intervención según el nivel de riesgo (advertencias emergentes, enfriamiento, presentación de puntos de apoyo, limitación de funciones, etc.)

Sin embargo, hay un gran dilema.Cuanto más se mejora la precisión de la detección, más se intensifica la vigilancia, y las detecciones erróneas pueden arruinar la experiencia del usuario.
Además, estimar el estado emocional del usuario implica procesar datos sensibles, lo cual es complicado desde la perspectiva de la protección de información personal. La propuesta regulatoria también exige seguridad de datos y protección de información personal, pero equilibrar ambos no es fácil. Reuters

4) La gobernanza de la IA en China pasa de un "punto" a una "superficie": Conexiones con las reglas existentes

En los últimos años, China ha sido vista como un país que establece reglas en una etapa relativamente temprana en lugar de "dejar la IA sin control y regular después de que surgen problemas". En 2023, se implementaron medidas provisionales para la IA generativa, y la gobernanza ha sido desarrollada principalmente por las autoridades reguladoras (CAC). 中国法翻訳

Además, China tiene regulaciones sobre algoritmos de recomendación y "síntesis profunda", acumulando un marco de gobernanza por categoría tecnológica. DigiChina

La propuesta regulatoria actual sobre "IA de antropomorfismo e interacción emocional" puede considerarse un movimiento para cubrir de manera integral el área donde "los límites entre humanos e IA se vuelven borrosos". Global Times describe esta regulación como una supervisión gradual basada en el riesgo, presentando tanto "apoyo a la innovación" como "prevención del abuso". グローバルタイムズ

5) Reacciones en redes sociales: Los partidarios señalan "protección del usuario", los críticos señalan "control y represión"

Cuando esta noticia se difundió en las redes sociales extranjeras, las reacciones se dividieron en dos.

① "La regulación llega tarde. Es más bien avanzada"

En LinkedIn, teniendo en cuenta que en EE.UU. y otros lugares prevalece la opinión de que "la regulación mata la innovación",la propuesta de China es vista como un enfoque que pone la seguridad, la responsabilidad y el enfoque humano al frente. Por ejemplo, una publicación señala que "mientras algunos abogan por la falta de regulación, China ha presentado un borrador que cubre el uso de IA en toda la sociedad", destacando el retraso en la regulación como un problema. LinkedIn

Desde esta perspectiva, es fácil que surjan voces que afirmen que las medidas contra la "dependencia de compañeros de IA" y la "manipulación emocional" son necesarias a nivel mundial, y que cuanto antes se establezcan las reglas, mejor.

② "¿Es un aumento de la vigilancia bajo el pretexto de la protección?"

Por otro lado, en Reddit,se debate que se debe distinguir entre "regulación para proteger a los usuarios" y "control de información deseado por el estado".
Por ejemplo, se señala que "China tiene regulaciones estrictas en IA y la industria tecnológica en general", y se plantean dudas sobre si "lo que se hace público y lo que usa el estado son diferentes", lo que lleva a un intercambio de opiniones sobre el propósito mismo de la regulación. Reddit

Además, en otro hilo, hay preocupaciones sobre un futuro en el que "cada país tenga una IA adaptada a su ideología", convirtiendo a la IA en un dispositivo de división política y social. Reddit

③ Punto común: La "transparencia" es una condición mínima

Aunque las posturas difieren, hay un consenso relativamente fácil de alcanzar sobre la importancia de la transparencia para que los usuarios sepan que están interactuando con una IA. China Daily también menciona que se requiere informar claramente a los usuarios que están "dialogando con una IA". China Daily

Sin embargo, la "notificación cada 2 horas" reportada por Bloomberg, aunque asegura transparencia, cambiaría significativamente la experiencia del usuario, lo que podría generar críticas sobre si es "excesivo" o "realista de implementar". Bloomberg.com

6) La pregunta que esta propuesta regulatoria plantea al mundo

Esta propuesta no puede ser simplemente descartada como un "refuerzo del control de China". El punto clave es que el estado está tratando de institucionalizar la pregunta de quién es responsable cuando la IA que se adapta a las emociones pasa de ser "conveniente" a "relacional".

• ¿Puede la IA ser un "cuidado emocional" o se convertirá en un "dispositivo de dependencia"?

• ¿Es la detección de dependencia una "protección" o una "vigilancia"?

• ¿Hasta dónde se debe obligar la transparencia (solo al iniciar sesión o con notificaciones continuas)?

• ¿Quién y cómo debe diseñar el equilibrio entre seguridad e innovación?

La propuesta de China ofrece una respuesta a estas preguntas (y una respuesta fuerte). Dependiendo de cómo se concreten y se hagan cumplir los requisitos en la versión