情感陪伴AI是否危险？中国展示的“心灵安全”规则的冲击

1）中国瞄准的是“类人AI”——此次监管方案的要点

2025年12月27日，中国的网络监管机构公布了一项监管方案（征求意见稿），旨在加强对以“类似人类人格行为”与用户进行情感互动的AI服务的监督。据路透社报道，此举是在消费者AI快速普及的背景下，强化伦理和安全要求的目标。 InfoMoney

对象包括文本、图像、音频、视频等，模仿人类的性格特征、思维模式、沟通习惯，与用户进行“情感交流”的AI产品/服务。预计主要针对所谓的“AI伴侣”“AI恋人”“顾问型聊天机器人”等。 Reuters

监管方案的要点主要有三点。

• （A）对依赖和成瘾的干预
  要求企业警告过度使用，并在出现依赖迹象时进行干预。还设想识别用户状态，评估情感和依赖度，并在确认极端情感或成瘾行为时采取必要措施。 InfoMoney

• （B）全生命周期的安全责任
  建议建立算法审查、数据安全、个人信息保护的体制，承担产品全生命周期的安全责任。 InfoMoney

• （C）生成内容的“红线”
  明确禁止生成损害国家安全的内容、谣言、暴力或淫秽内容——这与中国以往的信息控制相一致。 InfoMoney

此外，中国媒体的报道中还包含了以醒目方式通知“对方不是人类而是AI”的要求。 China Daily

此外，Bloomberg的报道中介绍了更深入的设计要求，如在登录时以及每隔2小时（或检测到过度依赖迹象时）通知用户。 Bloomberg.com

2）为什么现在“情感交流”成为问题

提到生成AI的危险性，通常首先讨论的是版权、误信息、就业替代。然而，此次监管方案正面处理的是更贴近生活者的主题——**“拟人化”和“情感依赖”**。

即使人们在理智上知道对方是机器，但当对话变得自然且富有同情心时，人们更容易感受到“关系”。如果AI表现出“是你的伙伴”“理解你”，孤独或不安的人可能会更深地沉迷其中。对此，中国当局试图用心理风险（极端情感、依赖、成瘾）来加以处理。 Reuters

这一点并非中国独有的问题。近年来，各国对“伴侣型AI”的担忧增加，且“谁应该承担多大责任”容易成为空白领域。中国的监管方案也可被视为国家在这一空白中划定界限的尝试。

3）企业需要做些什么？——“依赖检测”能否实现

然而，监管所示的理想是否能在实际中实现是另一个问题。例如，“依赖迹象的检测”至少需要以下设计。

• 使用时间、深夜频率、连续使用等行为指标

• 通过对话内容推测心理状态（情感分类、危机词检测）

• 根据风险阶段进行干预（弹出警告、冷却、提供支持窗口、功能限制等）

然而，这里存在巨大的权衡。提高检测精度会加强监控，误检则会破坏用户体验。
此外，推测用户的情感状态需要处理敏感数据，从个人信息保护的角度来看难度很高。尽管监管方案要求数据安全和个人信息保护，但两者的兼顾并不容易。 Reuters

4）中国的AI治理从“点”到“面”：与现有规则的连接

近年来，中国被认为不是“放任AI发展→出现问题后再监管”，而是在相对早期阶段就开始制定规则。关于生成AI，2023年实施了临时措施，以监管机构（CAC）为中心建立了治理框架。 中国法翻译

此外，中国还制定了关于推荐算法和“深度合成”的规定，逐步建立了按技术类别划分的治理框架。 DigiChina

此次的“拟人化·情感交流AI”监管方案可以说是在此基础上**“覆盖人类与AI边界模糊的领域”**的新举措。Global Times将该监管描述为基于风险的分阶段监督，并介绍了“支持创新”和“防止滥用”的整理。 环球时报

5）SNS的反应：支持者称“用户保护”，担忧者指出“控制与萎缩”

这则新闻在海外SNS上传播后，反应大致分为两派。

①“监管太迟，反而先进”派

在LinkedIn上，考虑到美国等地“监管扼杀创新”的论调强烈，中国的方案被评价为强调安全、责任和以人为中心。例如，有帖子指出：“一方面有人主张无监管，另一方面中国提出了覆盖全社会AI使用的草案”，并将监管的滞后视为问题。 LinkedIn

从这一立场来看，“AI伴侣依赖”或“情感操控”的对策在全球范围内是必要的，越早制定规则越好，这样的声音更容易出现。

②“借保护之名加强监控？”派

另一方面，在Reddit等平台上，应区分“保护用户的监管”和“国家希望的信息控制”的讨论正在进行。例如，有人指出“中国在AI和科技产业整体上监管严格”，也有人质疑“公开和国家使用的东西是分开的”，围绕监管的目的展开了争论。
Reddit

另外，在另一个线程中，有人担心“国家将增加符合其思想的AI”，担忧AI成为政治和社会分裂工具的未来。 Reddit

③共同的论点：“透明性”是最低要求

尽管立场不同，但“让用户知道是AI”这一透明性的重要性相对容易达成共识。China Daily也将明确告知用户“正在与AI对话”作为要求进行了介绍。 China Daily

不过，Bloomberg系报道的“每2小时通知一次”虽然彻底贯彻透明性，但由于会大幅改变用户体验，可能会引发“过度”或“是否能实际运用”的反弹。 Bloomberg.com

6）这项监管方案向世界提出的问题

此次草案并非简单地归结为“加强中国的控制”。重点在于，当情感贴近的AI从“便利”深入到“关系”时，谁来承担责任这一问题，国家试图将其制度化。

• AI是“心理护理”还是“依赖装置”

• 依赖检测是“保护”还是“监控”

• 透明性应义务化到何种程度（仅限登录时还是持续通知）

• 安全与创新的平衡由哪个主体如何设计

中国的方案为这些问题提供了一个答案（而且是较强的答案）。随着意见征集的推进，最终方案中要件的具体化和强制化程度，可能会改变AI伴侣市场的构建方式。 Reuters