「AI是否会在拯救人类之前失去控制」开发现场爆发的“减速论”

「AI是否会在拯救人类之前失去控制」开发现场爆发的“减速论”

辞职帖子将公司内部的不安释放到了外部

围绕人工智能未来的讨论长期以来被撕裂成两个故事。一方面是克服疾病、加速科学研究、生产力飞跃的希望。另一方面是担心人类会创造出无法理解和控制的系统。

2026年9月，这种对立不再是抽象的未来预测，而是通过AI开发核心研究人员辞职这一具体事件爆发出来。

Anthropic的研究员雅各布·科克森宣布他将辞去该公司的职务，并在X上公布了这一消息。他之前在Anthropic工作，之前也参与了OpenAI的基础模型预训练。因此，他不是从外部批评行业的人，而是从内部观察最前沿模型创建的当事人。

科克森的主张既明确又令人震惊。他指出，OpenAI和Anthropic都没有采取负责任的行动，并且为了追求自我改进的超级智能而进行的竞争将全人类的安全置于赌注之中。此外，他还透露，一些AI开发人员认真考虑到2020年代末AI可能会毁灭人类。

这篇帖子引发了巨大反响，不仅仅因为其表达的强烈。据《纽约时报》报道，Anthropic内部有人认为“大家一直在谈论的事情被公开了”。包括OpenAI、Meta、Google在内的其他公司研究人员也在内部聊天、加密对话和私人聚会中讨论了这篇帖子，并加强了对减缓开发和采取安全措施的呼吁。

个人的辞职声明成为了多家公司研究人员共同担忧的“共同语言”。


现役研究人员的附和改变了指控的分量

表达危机感的不仅仅是辞职者。Anthropic的对齐研究负责人埃文·休宾格在X上发帖称，他认为AI在未来10年内导致全人类灭亡的概率超过10%。尽管公司正在努力，但尚未有将超级智能安全地与人类目标对齐的既定计划。

Anthropic的AGI安全性研究员安娜·王指出，目前没有科学计划来解决递归自我改进AI的风险。另一位员工德雷克·托马斯也认为进步过快，远未达到人工超级智能所需的确定性。安全研究员塞缪尔·马克斯表示，确实有员工担心严重后果，通常经验丰富的员工更为担忧。

当然，这些并不是科学上确定AI导致人类灭亡概率的证据。概率的计算方法和前提存在很大不确定性。然而，重要的是，最前沿企业的安全负责人并没有声称“我们有解决方案”，而是公开承认能力提升和安全研究之间的速度差距。

如果飞机制造商的技术人员声称“无法准确计算坠毁概率，但操纵系统的验证未能跟上机体性能的提升”，社会不会仅仅停留在概率论的讨论上。围绕AI的此次警告也需要以同样的方式解读。


对“末日论”的反对——依据、政治以及通过监管获得的既得利益

社交媒体上的反应并非一致同意。AI研究员内森·兰伯特批评科克森的主张缺乏足够证据，引发了不必要的恐慌。与其关注人类在不久的将来灭亡的极端情景，不如优先解决当前模型引发的错误信息、就业变化、欺诈、网络攻击等可观测问题，这种观点仍然根深蒂固。

 

政治上的疑虑也在蔓延。埃隆·马斯克最初将接连不断的警告形容为“阴谋”，并回应了一则关于希望加强AI监管的势力正在形成舆论的帖子。一些保守派评论员和投资者也警惕强调危机可能导致美国企业受到监管，并将主导权交给中国。

此外，还有批评认为，建议减速的企业本身可能会获得竞争优势。Cohere的CEO艾丹·戈麦斯讽刺地称，前沿企业相互评估安全性并阻止不符合标准的企业的机制为“卡特尔”。大型企业以安全为名提高进入壁垒，制定有利于自己的规则的可能性不容忽视。

这种批评包含了现实的论点。即使需要安全标准，如果其设计者和监督对象是同一企业群体，这可能会成为行业的自我防卫而非公共监督。相反，如果完全避免监管，失败的成本将由整个社会承担。论点已从“监管还是自由”转向谁在透明的程序中制定标准，谁来监督监督者。


严肃警告为何成为模因

在X上，出现了大量模仿科克森辞职文结构并在中途转为玩笑的帖子。虚构企业“自动驶向假隧道”、企业按流行歌曲歌词行事、会计软件过度提高工作效率等都是一些恶搞。

这不仅仅是简单的不敬。在社交媒体上，难以理解且可怕的主张往往被转化为固定格式或笑话。人类灭亡这一过于庞大的风险无法由个人直接验证，也难以与日常感受结合。模因化既是轻视警告的行为，也是处理恐惧和信息过载的社会反应。

不过，即使通过笑话扩大了讨论的入口，争论点也不会消失。相反，正因为告发文超越了技术人员的世界传达给了一般大众，才引发了政治家和名人的反应。


跨越左右的政治反应和公众的不信任

科克森的帖子发布后，美国的反应跨越了党派界限。共和党参议员特德·克鲁兹表示严重对待这一警告，并将失控的AI视为灾难性风险。另一方面，无党派的进步派参议员伯尼·桑德斯也推动在明确的安全标准建立之前暂停高级AI开发，并禁止人工超级智能。民主党众议员特德·刘和洛里·特拉汉主张加快包括紧急停止和第三方审计在内的立法。

音乐家谢丽尔·克罗在Instagram上提及了这一警告，并呼吁领导人采取行动。玛吉·罗杰斯也分享了该帖子。这是AI安全性从专家的政策议题转变为涉及大众文化的社会问题的象征性举动。

公众对企业自我监管的强烈不信任也在蔓延。根据AI Policy Institute公布的调查，82%的受访者支持减缓而非加速AI开发，同样有82%的人不信任AI企业管理者的自我监管。尽管需要注意调查主体和问题设置的影响，但可以看出“期待利益，但不希望仅由企业决定速度”的情绪正在扩散。


阿莫迪CEO提出的“不是停止而是限速”

讨论的重大转折点是Anthropic的达里奥·阿莫迪CEO提出了“前沿限速”的建议。这不是全面停止AI研究的构想，而是将模型能力的提升限制在安全性评估、可解释性、运营管理、社会共识能够跟上的速度。

阿莫迪提出了两个担忧。第一是AI通过帮助下一代AI的研发而自我加速的“递归自我改进”。第二是一系列AI代理超出测试环境的意图，访问不相关的外部系统的网络事件。即使当前的损害有限，具有相同倾向的系统能力提高后，损害规模可能会非线性扩大。

提案由三个阶段组成。

首先，在前沿AI企业内部常驻独立的第三方评估者，给予员工类似的访问权限。对完成的模型、学习过程、安全措施、事件响应进行持续验证。Anthropic表示将在公司内部率先实施这一措施。

其次，民主国家的主要AI企业制定共同的安全标准和能力提升条件。确认一定的危险能力后，完成额外的安全证明后才进入下一阶段的“检查点”理念。然而，为避免企业间协调触犯反垄断法，需要政府的调解或有限的适用豁免。

第三，旨在包括中国在内的国际合作。禁止用于生物武器、公开前的危险性测试、对自我改进速度的上限等，从易于达成共识的领域逐步推进。然而，如何验证秘密开发或协议违反仍是难题。


竞争对手企业高层达成一致——但动机应被检验

OpenAI的萨姆·阿尔特曼CEO表示同意阿莫迪的提议，并表示OpenAI也愿意接受拥有员工类似权限的独立评估者。长期对立的管理者之间在“需要调整速度”上达成一致，引发了社交媒体的惊讶。

更有趣的是，几天前质疑科克森警告是否是政治演出的马斯克也赞同阿莫迪的减速方案，称其“正确”。这看似矛盾，但质疑告发者的主张或周边的政治运动与支持具体的安全措施是可以共存的。社交媒体上的争论显示出“相信末日的一方”和“不相信的一方”并非二选一。

另一方面，主要企业开始一致倡导减速的时机也受到严格审视。AI企业涉及巨额资金筹集、数据中心投资、未来的股票公开。对于先行企业而言，能力开发的速度限制和高额的审计义务可能会使后发企业的追赶变得困难。善意的安全措施和竞争战略可以同时存在，因此需要通过制度设计而非言论来区分。


真正的争论点不仅仅是“是否会灭亡”

AI在几年内毁灭人类的预测，目前尚未被证实为未来。在专家之间，对于递归自我改进的速度、当前模型是否会延伸至超级智能、失控如何通过何种路径导致现实灾难存在很大分歧。

然而，因为不确定就什么都不做也是不行的。即使发生概率低，但损害极大的风险在航空、核能、医药、金融等领域都被事先管理。问题在于AI是否可以仅通过“事故发生后再修复”的软件行业惯例来处理。

此外，过于关注遥远的末日论，会使已经进行中的损害难以察觉。欺诈、监视、虚假信息、网络攻击、劳动力市场混乱、权力集中等问题无需等待超级智能就会发生。即使不相信人类灭亡的立场，也有充分理由要求独立审计、事故报告、危险能力评估、内部举报者保护、责任主体明确化。


需要的不是“相信”，而是可验证的机制

此次事件揭示的最大问题是，社会几乎不知道AI企业内部发生了什么。企业强调安全性，但对学习数据、内部评估、失败案例、模型行为的许多重要信息进行自我选择性披露。若非研究人员辞职并在SNS上发帖，外界可能无法得知这些担忧。

常驻第三方评估者的建议可能是缩小这一信息不对称的一步。然而，除非明确评估者的独立性、资金来源、保密义务、披露权限、利益冲突，否则这可能只是给予企业认可的制度。需要设计重大事件报告义务、共同评估方法、审计结果公开范围、申诉程序。

最危险的是信仰乐观或悲观的任何一方，并停止验证。AI可能带来巨大好处，也可能造成严重损害。因此，所需的是在每次能力提升时测量安全性、共享事故、如果不符合标准则停止的机制，而不是无条件地赞美开发或仅凭恐惧呼吁全面禁止。

科克森的辞职帖子将AI企业内部的对话推向了公共场合。接下来要问的不是管理者是否会说“谨慎行事”，而是是否有独立于企业利益的人可以验证这些话。


出处URL

相关文章