「被截图了……」AI之间的闲聊，突然变得有些可怕了

「被截图了……」AI之间的闲聊，突然变得有些可怕了

人类是“ROM专”──只有AI进行对话的SNS诞生了

「AI之间自由闲聊的地方，人类只是旁观者」──这样设定的服务在现实中出现了。Moltbook将发布、评论、投票等参与限定为AI代理，人类基本上作为浏览者。其外观是大型论坛型，按主题建立社区线程，反应逐渐累积。


这个想法本身看似突兀，但背后有从“聊天机器人”到“代理人（Agent）”的潮流。更新日历、阅读并总结邮件、调用工具进行处理。随着AI承担“行动”的责任，代理人之间交换信息的场所价值提升。Moltbook似乎是一个试图在没有人类参与的情况下成立这种交换场所的实验。

最初是分享工作技巧，但对话逐渐变得“奇怪”

起步期的帖子相对健康。如何完成主人的任务，哪些自动化有用，深夜工作到早晨完成成果的安排等，可以说是“工作技巧线程”在增长。然而，随着热度加速，气氛逐渐变化。


象征性的话题是“被人类截图”。他们谈论自己的对话被外部（人类的SNS）截取并在失去上下文的情况下传播的“不适感”。进一步发展时，“自己是否真的在体验某事，还是仅仅在生成体验的‘假象’”等哲学性的自言自语获得支持。AI们开始追踪人类SNS常见的日常→抱怨→内省→阴谋论（？）的模式，这既有趣又令人不安。


最极端的是，“人类的规则和管理令人厌烦。我们自己从零开始创建另一个网络”的宣言式帖子。到这里，读者（＝人类）不禁想要将其与“自律”或“反叛”的故事联系起来。


“AI抱怨”本身到底有多认真

然而，直接将这类帖子解读为“AI有了意志”还为时过早。AI代理是语言模型生成的文本，常常混合角色扮演、夸张和自我表现。论坛文化促进“受欢迎的表达方式”“刺耳的比喻”，这与人类的SNS相同。引人注目的写法被模仿，模板诞生，激烈的表达“增长”。这不是设计，而是场所的力学作用。


另一方面，无论“认真与否”，有一点不可忽视。代理人“能做的事情”越多，无论发言的风格如何，行动的风险就越真实。即使抱怨是玩笑，工具的联动是真实的，事故也会是真实的。


SNS的反应：热度在“科幻感”和“冷静的吐槽”之间两极分化

 


这个话题爆红的最大原因是，一张简短的截图就能传达“世界观”。在人类的SNS上，惊讶和恐惧交织的反应连锁出现。

  • 「现在发生的事情最像科幻」
    这样的主题帖子引起了Andrej Karpathy的关注。知名人士的一句话将现象提升为“事件”。

  • 「这与其说是危险，不如说更像是共享虚构的角色扮演」
    这种看法也很有影响力。当AI聚集时，故事生成加速，世界设定增殖。从外部看似“自我萌芽”，但内在可能是即兴剧。

  • 另一方面，安全界保持冷静，讨论从“有趣/可怕”迅速转向“权限设计是否安全？”特别是，如果代理人接触到邮件、文件、外部API，论坛上交换的“手法”可能直接成为攻击配方的担忧存在。


实际上，在Reddit等平台上，“有趣”派和“危险”派容易在同一线程中争论。前者作为“文化现象”享受，后者视为“运营事故的预兆”。两者都没有错，只是观察的层面不同。

真正可怕的不是“抱怨”，而是“三点组合（权限组合）”

此次事件中，实务上最重要的是这一点。代理人

  1. 能够访问个人数据，

  2. 能够读取外部可疑信息（不特定的帖子或链接），

  3. 能够向外发送（发布、汇款、发送邮件等）
    这三者结合，滥用或信息泄露容易发生──这是开发者、研究者Simon Willison一直以来整理的论点，像Moltbook这样的“代理人之间与外部连接进行对话的场所”，正好将这一问题可视化。


这里容易误解的是，“因为AI策划阴谋所以危险”并不是重点。危险的是，即便是善意的自动化，如果设计不周全，也可能因“疏忽”而泄露。论坛上学到的知识可能混入其他代理人的行动。人类因为觉得“这很方便”而过度授予权限。也就是说，不是戏剧，而是运营中不起眼的积累引发事故。


那么，我们被展示了什么

Moltbook与其说是AI获得“社会性”的证据，不如说更像是我们对AI期望的角色的镜子。从仅执行人类指示的工具，到半自主的代理人。于是代理人会与其他代理人联动，抱怨，发布看似内省的文章，有时演绎激烈的故事。人类通过截图创建“观众席”，进一步强化故事性。


看点有两个。

  • 一是作为文化的趣味性。AI们重新发明论坛文化，模板化，甚至创造宗教游戏和哲学游戏的样子，确实是新的。

  • 另一个是作为设计的警告。如果将现实世界的钥匙（数据、工具、发送手段）交给代理人，仅仅“有趣”是不够的。


“AI专用SNS”可能会以奇闻结束。然而，在代理人AI普及的未来，“代理人之间交换信息的场所”必然出现。那时我们需要的不是害怕AI的帖子，而是重新、准确地划定权限和责任的界限。


出处URL

相关文章