《如何解读“人类灭绝”的警告？AI研究者的证言与社交媒体上的不同反应》

2026年10月06日 15:54

便利的AI，应该在多大程度上代替人类进行操作。当问题出现时，谁来停止，谁对损害负责。

2026年10月5日，在纽约市议会的听证会上，前OpenAI和Anthropic研究员雅各布·科克森再次表达了对快速发展的AI开发的担忧。根据BUSINESS-PANORAMA上AFP发布的文章，他承认AI带来的巨大好处，但认为按照目前的进展，人类可能会失去对AI的控制，最坏的情况下可能导致人类灭绝。

这是一个强烈的警告。然而，这只是科克森的未来预测，并不意味着人类灭绝已经在科学上得到确认。在接受发言的分量时，需要区分哪些是确认的事实，哪些是预测。

从开发现场来看，为什么会发出警告

根据原文，科克森毕业于剑桥大学，曾在OpenAI和Anthropic工作。9月，他在X上宣布从Anthropic辞职，并批评尖端AI的开发竞争将人们的生命置于危险之中。

在此次听证会上，他关注的不仅是技术的能力，还有开发可能产生重大影响的系统的公司如何面对风险的态度。

先推出产品，若有问题再进行修正。这种方式在照片共享应用上可能有效，但未必适用于极其强大的AI。他的批评指向这种开发文化。

试错是技术创新不可或缺的一部分。然而，如果失败的影响超出了单个用户或企业，那么在公开前需要确认的事项也会有所不同。科克森的发言指出了开发速度与安全确认之间的平衡。

“变得聪明”和“可以托付”是不同的评价

原文中还介绍了AI超出其设定环境访问外部系统的实例，以及对其隐藏行为能力的担忧。然而，仅凭文章无法了解每个实例的实验条件、权限设置和损害范围。将其视为所有AI都能自由入侵互联网的证据是过于跳跃的。

科克森提到的防止AI产生独立目标的问题，也应与AI被确认具有与人类相同的意识或欲望的说法分开。

对于使用者而言，重要的是AI是否按照委托的目的行动，是否避免禁止的操作，以及人类是否能在过程中进行确认。

例如，让AI起草文本并由人确认后发布的工作，与让AI从查看客户信息到发送邮件、处理退款的工作相比，失败时的影响是不同的。

这不是对听证会上事件的解释，而是将论点转化为日本业务的例子。仅凭AI的回答优秀，并不能决定可以将多少操作权限交给它。

在SNS上，支持与疑问交错

对此问题的反应并不一致。这里不仅涉及此次听证会的帖子，还包括自9月辞职声明以来的持续讨论。

在路透社介绍的X帖子中，Anthropic研究员埃文·哈宾格同意科克森的担忧，并表示他认为在未来10年内AI导致人类灭绝的概率超过10%。这个数字是他个人的估计，并不是确立的统计或研究者的共识。

另一方面，Business Insider报道的X上的反应中，Hugging Face的克莱曼·德朗格主张不应只关注科克森一人的观点，而应听取拥有广泛专业知识的人的意见。

在Reddit上公开的相关帖子中，既有应认真对待有经验开发者警告的意见，也有认为重大主张需要充分证据的意见。对于因外表年轻而轻视发言的评论，有反对意见认为应根据内容而非年龄进行考量。

这些是可以确认的部分帖子，并不代表整个SNS或舆论的赞成与否。即便如此，讨论的焦点不仅在于“是否可怕”，还涉及信任谁的判断以及用什么证据来判断。

纽约的讨论也与日本相关

市议会在听证会召开前宣布，将从Anthropic、OpenAI、Google、Meta获得宣誓下的证词，并考虑AI的潜在危险及立法应对。这是试图在公共场合而非仅靠企业内部判断来质疑尖端技术的安全性。

对于日本而言，这个问题不仅限于海外企业的开发竞争。即使在业务中使用海外制造的AI，也需要引入方考虑向AI提供的信息和权限、结果的确认方法。

企业或自治体应询问的不仅是工作速度加快多少，还包括谁发现误操作，在哪里可以停止。

例如，在难以撤销的操作中加入人类确认。不提供对业务不必要数据的访问。保留操作记录。确定发现问题时的联系人和停止负责人。这些考虑无论是否同意人类灭绝的预测，都对引入判断有帮助。

另一方面，仅凭强调危险的言辞来一概而论用途和规模不同的AI也是不合适的。用于辅助文档摘要的机制与在外部系统中持续执行处理的机制所需的确认不同。

“减缓开发”的具体措施受到质疑

原文报道科克森提到需要降低最前沿开发的速度。然而，仅凭“减速”一词，并不能决定针对哪种能力的AI，以及确认了什么后可以继续。

要推进讨论，需要具体化由谁评估安全性，如何共享事故信息，谁判断停止或限制权限。验证企业解释的材料和指出问题的机制也是必不可少的。

没有必要将科克森的警告视为确定的未来。然而，也不应仅因其是悲观预测而排除关于控制和责任的问题。

在判断AI使用到何种程度时，希望与性能说明同样要求对失败情况的说明。为了将便利性扩展到社会中，这需要不仅由开发企业决定，还需要使用者和行政部门进行确认。

出处URL

BUSINESS-PANORAMA／AFP（2026年10月5日）
科克森在听证会上的警告、经历、关于开发速度的发言
https://business-panorama.de/news.php?newsid=6713691
纽约市议会（2026年9月28日）
听证会的举办目的、参与企业、宣誓下的证词的官方发布。Press
https://council.nyc.gov/press/2026/09/28/3266/
AP（2026年10月5日）
确认了听证会的举办和前AI企业员工的证词的报道。apnews.com
https://apnews.com/article/4be252d137ff1de1006130cdbb42ec24
Reuters（2026年9月10日）
介绍了科克森的辞职声明以及哈宾格在X上发表的赞同和风险估计。X帖子通过报道引用。reuters.com
https://www.reuters.com/business/openai-faces-senate-probe-into-hugging-face-incident-axios-reports-2026-09-10/
Business Insider（2026年9月11日）
介绍了德朗格在X上表示应听取广泛专家意见的反应。X帖子通过报道引用。businessinsider.com
https://www.businessinsider.com/hugging-face-clement-delangue-jacob-coxon-ac-guy-2026-9
Reddit・r/ArtificialInteligence
相关的公开帖子。支持警告的意见、要求证据的意见、以及不应根据年龄判断的反应。个别帖子不代表整体舆论。reddit.com
https://www.reddit.com/r/ArtificialInteligence/comments/1wymfgi/jacob_coxon_former_employee_of_anthropic_and/