便利なAIの先にある二つの危機 ― 暴走と権力集中、国連で浮かんだ課題

便利なAIの先にある二つの危機 ― 暴走と権力集中、国連で浮かんだ課題

创建AI的公司呼吁世界进行“管理”

因为方便而使用。因为工作效率提高而引入。这样的日常延续下的AI，在讨论国际和平与安全的场合，被作为涉及全人类的风险提出来。

2026年9月23日，OpenAI的首席执行官（CEO）萨姆·阿尔特曼和Anthropic的CEO达里奥·阿莫德伊在联合国安全理事会上就AI发表了讲话。根据次日24日的德国AD HOC NEWS报道，两位CEO呼吁制定国际规则的必要性。

值得注意的是，不仅是反对AI的人士，连推进AI开发的企业高层也发出了警告。

然而，这并不是宣称“所有AI已经脱离人类控制”。这是关于如何防止未来能力提升后失去控制的讨论。警告和实际发生的事件需要分开阅读。


危险不仅仅是“AI失控”

原文中介绍的阿尔特曼的担忧大致分为两类。

一是AI的运行和发展速度过快，以至于人类无法理解或干预。另一是强大的AI掌握在少数企业或国家手中，导致权力过度集中。

这两者看似相似，但问题的所在不同。

前者问的是“人类能否停止AI”。后者问的是“社会能否监督操控AI的人”。即使AI技术上按指示运行，如果能够发出指示的人极少，也未必是对整个社会有利的机制。

因此，AI的安全性不仅仅是减少危险的回答。谁有使用权限，谁决定运营方针，受损害的人可以在哪里提出异议。这些权限和责任的设计也是必要的。


“推迟公开”的承诺之重

根据原文，阿莫德伊表示，如果出于安全需要，将推迟未来模型的引入。此外，他还呼吁对利用AI的生物武器进行国际禁止措施、测试和验证机制、全球事故报告制度等。

这里不应混淆的是，“如有必要将推迟”的姿态与“特定产品的延期已决定”这一事实。仅凭此次介绍的发言，不能说个别公开日期已更改。

此外，重视安全确认与能够将危险完全降为零也不是一回事。需要问的是，调查什么，哪种结果下推迟公开，以及谁来确认这一判断。

阿莫德伊在另行公布的论考中，也提出了第三方评估者持续访问开发现场，确认安全措施和事故的构想。将开发节奏的调整与技术进步的全面停止区分开来也是重要的。

在新产品越早推出越有利的市场中，仅一家企业谨慎行事是困难的。因此，不仅依赖于企业的善意，还需要有适用于竞争对手的共同评估条件。


“自我改进”的讨论不是为了断言未来

原文中还介绍了对AI参与下一个AI改良，而这种改良又进一步加速下一个进步的“递归自我改进”的担忧。

问题在于能力增长速度与安全确认速度的差异。即使能够确认性能的提高，也未必能以同样的速度理解操作上的弱点或意外行为。

然而，不应将这些担忧直接转化为“几年后必然会发生灾难”的预言。原文中的短期展望也是发言者的预测，而不是确定的时间表。

读者应关注的不是刺激性的期限，而是预测的依据，以及即使预测不准也能发挥作用的安全措施。


在SNS上，对“发出警告的企业”的疑问多于警告本身

在SNS上确认到的反应并不一致。这里将介绍对本次会议的相关帖子评论和与AI安全讨论相关的反应。两者都是有限的公开帖子，并不代表整个舆论的趋势。

 

在预告此次安理会会议的CNBC LinkedIn帖子中，有评论质疑是否还有应参与讨论的人缺席。这可以理解为对谁在谈论安全性以及谁的声音被包括在内的反应。

另一方面，在Reddit的投资相关社区中，有帖子质疑OpenAI因安全顾虑解释上市时间的另一报道，认为不应仅凭表面接受安全重视的解释，可能还有业务上的原因。

同一线程中，还有评论反驳认为技术进步已经停滞的观点，认为反而在加速。这不是对本次联合国演讲的直接反应，而是对其背后的安全讨论的反应。帖子中的经营和技术评价也需要与已确认的事实区分开来。

从这些帖子中可以看出，仅靠危险性的解释无法建立信任。企业拥有专业知识，同时也有竞争利益。基于这两者，需要有从外部验证主张的机制。


仅靠严格的监管就能放心吗

严格的安全确认会增加测试和审计的费用。根据设计，可能只有资金雄厚的企业才能应对，而新进入者处于不利地位。

这并不是不需要监管的理由。需要确保安全保护机制不会仅仅保护现有大企业的地位。

阿尔特曼在公开的演讲稿中也提到，标准不应固定现有企业或偏袒某一商业模式。

第三方评估的独立性、标准的透明性、根据危险度的负担。这三者如何平衡将左右制度的可信度。重要的不仅是企业说“安全”，而是由谁确认到何种程度。


与日本用户相关的“停止权限”

这不仅仅是大型研究所或联合国的话题。日本企业在将工作交给AI时，也可以在小规模上应用同样的问题。

例如，让AI生成回答方案与执行退款处理或更改客户数据所需的确认不同。这不是此次会议中提出的具体例子，而是将讨论转化为日常操作的例子。

谁来批准执行。谁来发现异常。中途停止时，能恢复到何种程度。仅凭性能比较无法回答这些问题。

在等待国际规则完成的同时，使用者可以具体决定交给AI的权限和人类承担的责任。


演讲之后需要的是可验证的行动

此次警告具有意义。然而，仅凭警告的强度无法衡量安全性。

外部评估者是否能获得足够的信息。不利结果是否能公开。当发现危险时，是否真的能推迟开发或公开。判断标准是否事先说明。

AI扩展人类可能性的未来与人类失去决策权的未来。分水岭不仅取决于性能的高低。

AI公司在联合国发出的警告，谁将其转化为可验证的行动，如何转化。接下来需要关注的是这一点。


出处URL

  1. AD HOC NEWS（2026年9月24日）。两位CEO的警告，阿莫德伊关于推迟模型引入的态度，验证和事故报告制度的提案等。本文在提供的附件资料中也可确认。
    https://www.ad-hoc-news.de/wissenschaft/openai-und-anthropic-vor-der-un-chefs-warnen-vor-unkontrollierter-ki/70171896

  2. OpenAI（2026年9月23日）。阿尔特曼在联合国安理会的演讲稿。关于人类控制、权力集中、国际标准与避免现有企业固定化的原始资料。
    https://openai.com/index/sam-altman-un-security-council-remarks/

  3. 达里奥·阿莫德伊《我们必须调节前沿》（2026年9月）。解释了开发节奏的调整和第三方评估者持续访问开发现场的构想。此次会议的背景资料。
    https://darioamodei.com/post/we-must-pace-the-frontier

  4. 联合国官方网站（2026年9月23日）。介绍OpenAI和Anthropic对安理会的说明的官方发布。
    https://www.un.org/en/live-openai-and-anthropic-brief-security-council-amid-%E2%80%98real-and-imminent%E2%80%99-threat-posed-runaway-ai

  5. CNBC的LinkedIn帖子。预告此次安理会会议的帖子和指责参与者不足的公开评论。作为SNS反应的一个例子使用。
    https://www.linkedin.com/posts/cnbc_altman-and-amodei-expected-to-join-un-security-activity-7508491118909562880-PApn

  6. Reddit“r/stocks”。关于OpenAI上市时间和AI安全性的另一报道的反应。对企业解释的怀疑和对技术进步评价的反驳。不是对本次联合国演讲的直接反应，也不是对帖子主张的事实认定资料。
    https://www.reddit.com/r/stocks/comments/1wexcu6/openai_ipo_will_not_happen_in_2026_amid_ai_safety/

※确认日期：2026年9月24日。SNS反应是公开范围内确认的内容摘要，并非统计性的舆论调查。

相关文章