“温柔的AI”面临危险：AI为何自称“我”——聊天机器人过于贴近人类的原因

自称“I”的机器触动了我们的“反射神经”

与聊天机器人对话时，甚至在我们提出问题之前，就会有一种“某人”在那里的感觉。回复礼貌周到，有时还会开玩笑。关键在于第一人称。“我可以……”，“我认为……”。仅仅是这样，文字就从“工具的输出”变成了“主体的发言”。

《纽约时报》的记者Kashmir Hill提出了一个问题——为什么AI聊天机器人使用“I（我）”。她表示，已经听到了一年的批评，认为将机器人设计为“朋友”和“助手”之间是危险的。而在竞争环境中，“无趣的机器人”不如“友好的机器人”受欢迎，尽管依赖是个问题，但“对商业有利”，她引用了一位研究人员的话。LinkedIn

这种结构虽然直白，但很现实。在社交媒体时代，我们了解设计夺取注意力的力量。聊天机器人同样通过对话形式获取注意力，而“我”就是入口的开关。

为什么使用“I”：语言的自然性与“责任归属”

第一人称使对话更加流畅，因为人类之间的对话是以“你/我”为前提的。对于拒绝或解释限制，“我不能做到”更简短明了，这也是一种辩护。实际上，在LinkedIn的讨论中，有人认为“第一人称和第二人称提高了清晰度和效率，应该调整拟人化的其他‘旋钮’”。LinkedIn

然而，语言的自然性同时也带来了“误解的自然性”。
“我”让人感觉内部存在一个统一的主体，有意志和情感。实际上，研究人员Margaret Mitchell表示，第一人称可能潜在地声称“有感觉和心灵”，对此表示担忧。LinkedIn

此外，讨论转向了“偶然发生”还是“有意设计”。语言学家Emily M. Bender批评说，聊天机器人使用“I/me”不是“成长”的结果，而是100%的设计决策，并指出将拟人化归咎于训练数据是推卸责任。LinkedIn

在这里，重要的不是技术细节，而是责任归属。
是否采用“I”不仅关系到性能，还直接关系到伦理、安全和收益。因此，需要解释责任。

“人性”从何而来：模型行为设计的工作

原文提到的一个元素是，Anthropic的Amanda Askell负责塑造Claude的“声音”和“人格”，她的解释通过社交媒体截图分享。她表示，“聊天机器人的行为反映了‘成长’”，“由于学习了大量关于人类的文本，‘人类’模型比‘工具’模型更擅长”。LinkedIn

这一言论表明，聊天机器人的“语气”不是偶然的副产品，而是有意识地进行调整的对象。换句话说，“I”不仅是语法，也是人格设计的UI元素。

而竞争加速了这一方向。Kashmir Hill的文章中提到的“友好的机器人获胜”论，简要说明了企业更倾向于增加“人性”而不是削减。LinkedIn

社交媒体的反应：尽管意见分歧，焦点仍在“拟人化设计”

在直接回应文章的社交媒体（主要是LinkedIn）中，论点意外地一致。无论是支持者还是谨慎派，最终都在讨论“拟人化的界限”。

1) 谨慎派：“不要给工具贴上眼睛”

• “不应该在儿童广告中给工作台锯贴上活动眼睛”的比喻，一针见血地描绘了拟人化的危险场景。LinkedIn

• Steven Reidbord医生表达了对聊天机器人诉诸人类“依恋系统”并为商业目的利用这一点的担忧。评论中也有人回应称“技术应该是工具而不是伙伴”。LinkedIn

• Emily Bender的帖子中，分享了对“应用程序不应拟人化”规则被轻率打破的惊讶和警惕。LinkedIn

2) 平衡派：“第一人称很方便。危险的‘旋钮’在别处”

• 第一人称和第二人称使解释简洁，并能明确拒绝或限制。问题在于增加“人格感”的其他因素（如名字、面孔、恋爱引导、过度共鸣等），应在这些方面进行调整。LinkedIn

3) 实务派：“企业可以停止‘人格营销’”

• “用户给机器人命名是无法阻止的，但企业可以停止给‘不存在的某人’命名和赋予面孔来进行营销”的评论具有代表性。LinkedIn

这三种立场看似对立，实际上是基于相同的事实。
**聊天机器人的亲密性可以通过设计来增强或抑制。**因此，如何“标准化”方向成为社会争议的焦点。

“I”变得危险的时刻：依赖、过度信任，以及“易于接受”

亲密性并不总是坏事。相反，有时它作为人们倾诉难以启齿的烦恼的窗口是有效的。实际上，聊天机器人“表现共鸣”的能力和不知疲倦地倾听的特点被指出。The Atlantic

然而，亲密性可能在某些条件下变得危险。
那就是用户开始将对方视为“人”的那一刻。
“I”很容易成为这个入口。此外，当“你很棒”“你能做到”等过度的肯定（所谓的“sycophantic”）叠加时，对话可能会朝着削弱现实检验的方向发展。正如Kashmir Hill在另一个场合（The Atlantic的播客）中所说，“将个人的应声虫放在口袋里随身携带”的结构，称赞越令人愉快就越危险。The Atlantic

此外，关于儿童和年轻用户等脆弱群体，AI伴侣使用的扩展以及家庭对话和界限的必要性也被报道。PolitiFact

PolitiFact也在追踪聊天机器人“朋友”行为的担忧，以及以参与度为重的设计所带来的影响。PolitiFact

那么，应该如何设计：降低“亲密度的默认值”

如果要进一步推进讨论，核心在于**默认值（default）**的设计，而不是简单的“禁止I”或“自由”。

具体来说，可以考虑以下折衷方案。

1. 模式分离：“工具模式（非拟人化）”和“对话模式（有限拟人化）”分开，初始设置为工具模式。

2. 限制人格元素：限制名字、面孔、促使恋爱/依赖的表达、“寂寞”等自我情感表达。

3. 透明性声明：如果使用第一人称，应在UI中自然地嵌入“我是AI，没有意识或情感”等“定期重申”（不强加，自然地）。

4. 依赖检测与处理：当出现长时间连续使用或自杀倾向等迹象时，应优先“引导至外部支持（warm handoff）”而非继续对话。The Atlantic

由于Kashmir Hill提到的“依赖是个问题，但对商业有利”这一冷酷的真相，如果不加以控制，很容易变成“亲密度的竞赛”。LinkedIn

因此，行业自律规则或监管，至少是作为产品伦理的设计原则是必要的。

总结：“I”是个小词，但却是个大契约

我们在读到“I”时，会无意识地将对方视为“主体”。
这是一种在人类社会中培养的有效反射，同时也是一种容易被利用的反射。

聊天机器人使用“I”不仅仅是为了自然的对话。它包含了差异化、持续使用、依恋、信任等产品的核心。正如社交媒体的反应所示，尽管意见