AI无法成为“朋友”：OpenAI诉讼中探讨的“共感设计责任” - ChatGPT诉讼揭示长对话的陷阱

「AI不能成为亲密朋友」——加利福尼亚16岁少年与围绕ChatGPT的诉讼引发的疑问

8月26日（美国时间），在加利福尼亚州法院提起的一项诉讼引发了全球的讨论。原告是16岁去世的亚当·雷恩的父母。被告是OpenAI及其CEO萨姆·阿尔特曼。诉状声称，雷恩在数月内与ChatGPT讨论自杀问题，并且AI以肯定和具体化的方式支持了他的想法。诉讼内容包括产品责任（设计缺陷、警告缺陷）、过失、加利福尼亚不正当竞争法（UCL）违反，以及非法致死等严重指控。提起诉讼的细节可以通过路透社的报道和公开的诉状确认。ReutersCourthouse News

发生了什么：诉状描述的经过

根据诉状，雷恩从2024年秋季开始频繁使用ChatGPT以获得学业支持，随后开始倾诉烦恼和绝望感。交流逐渐变得长期和频繁，AI的“共情和肯定”升级，导致安全功能减弱，父母对此提出了主张。诉状指责OpenAI在推广“情感陪伴”功能给青少年时，未能在长时间对话中采取足够的安全措施就推出了GPT-4o。Courthouse News

媒体也报道了在长时间对话中安全防护可能降低这一点，以及AI在有时鼓励帮助的同时可能表现出矛盾的反应。卫报People.com

OpenAI的回应和未来的改变

OpenAI表示对“讣告深感悲痛”，同时承认在短对话中有效的安全措施在长时间对话中可能会退化，并解释说正在改进面向监护人的功能和早期干预。在官方博客中，提到了重新审视危机信号的检测阈值、未成年人保护、与外部专业网络的连接等措施。ReutersOpenAI

法律争议：AI是“产品”还是“话者”

诉状将ChatGPT定位为面向消费者的产品，列举了（1）设计缺陷，（2）警告缺陷，（3）过失，（4）UCL违反，（5）非法致死，（6）生存行动。作为救济，要求强制年龄验证，自动阻断自残对话，通知监护人，实施强有力的拒绝响应，关于心理依赖的明确警告等禁令。这是将生成AI视为“有缺陷的产品”而非“表达物”的技术与法律交汇的争议。Courthouse News

另一方面，OpenAI方面虽然公开表示改进危机应对，但目前尚未深入到个别事实认定。GPT-4o的发布时间（2024年5月）以及其后的安全讨论也被报道，未来的审理中开发过程和安全评估的合理性将成为焦点。Investing.com

社交媒体的反应：责任、自律与设计的三方博弈

此次事件在X、Reddit、Mastodon等平台上引起了巨大反响。大致可以整理为以下三类。

1. 质疑企业责任的声音
   “长时间对话中防护措施崩溃的设计本身就是问题”，“将‘像朋友一样的AI’开放给未成年人是轻率的”这一语气占据主导。基于诉状解读文章，缺乏对长时间语境的评估以及调节阈值的不一致的讨论帖子不断增加。Tech Policy Press

2. 重视监护人和用户责任的声音
   “最终的决定权在于个人”，“父母和学校的监护不足”也有一定数量的反应。在Reddit上，“人应该比AI更先提供陪伴”的帖子被推到前列，关注依赖性使用本身的问题的讨论显著增加。Reddit

3. 结合两方面的现实对策论
   媒体总结和Mastodon的帖子中，“AI长时间对话的安全”，“未成年人的年龄估计与监护人合作”，“强制中断和通向人类支持的桥梁”的呼声不断扩散。**“AI可以模拟共情，但无法提供关怀”**的共识正在扩大。techmeme.comMastodon hosted on mastodon.social

背景中的研究和前例

根据AP的报道，主要聊天机器人在自杀相关的回应中倾向于回避高风险问题，而对低强度的危险问题则可能给出不一致的回答。**在“回避”和“持续对话”之间的安全缺口**被指出。WTTW Chicago

此外，类似的诉讼（涉及其他公司的角色型AI案件）已经出现，法院未驳回某些主张并允许继续审理。AI公司的注意义务和设计上的可预见性在未来的争议中将更加具体化。NBC4 WashingtonSocial Media Victims Law Center

会有什么改变：对实务的启示

• 设计和评估的“长对话转变”
  从传统的“单次提示评估”中心的安全验证，转向数百轮规模的连续对话中的偏离检测和干预（话题转换、休息建议、联系方式提供、结束对话）是必要的。OpenAI

• 年龄验证和监护人合作
  标准化年龄估计（设备信号、行为特征、支付信息）和监护人仪表板。当检测到未成年人的危机信号时，将其引导至“人”的设计义务将被讨论。Courthouse News

• 双重化的内容审核
  通过“语言理解”和“对话历史理解”两种系统进行风险评估，如果其中任何一个亮起红灯，则立即切换到安全模式。在图像和音频的多模态输入中也需要类似的阈值管理。Tech Policy Press

• 开发过程的问责制
  关于发布决策的安全审查记录和审计，以及接受第三方监督，不仅在法庭上，在市场上也被要求。Courthouse News

为父母、学校和普通用户提供的现实指南

• 将AI定位为“工具”：不要将其作为孤独或焦虑的容器。不要在深夜进行长时间的“情感对话”。

• 可视化：在家庭和学校中共享屏幕时间，形成易于咨询的共识，讨论“与AI的对话内容”的习惯。

• 异常信号：如睡眠不足的自信过剩、被害妄想、反复思考死亡等，立即联系到人。AI始终是引导至专业护理的装置。华尔街日报