当AI开始创造AI时，人类还能掌握主导权吗

AI开发公司Anthropic对最前沿AI开发竞争发出了罕见的警告。该公司表示，AI不仅仅是人类的辅助工具，而是正在进入加速AI系统自身开发的阶段，建议在社会、法规和安全研究无法跟上之前，业界应建立一个机制来减缓或暂时停止开发。

本次讨论的核心是“递归自我改进”这一概念。这是指AI设计和开发更高性能的AI，而新的AI又进一步开发下一个AI的循环。虽然这个词听起来像科幻小说，但Anthropic将其视为当前技术趋势的延续，而不是遥远未来的幻想。

根据Lanka Newspapers的报道，Anthropic警告称“人类可能无法控制高级AI”，并建议主要AI公司共同建立开发停止的机制。然而，仔细阅读Anthropic的原始声明可以发现，该公司并不是简单地要求“立即全面停止AI开发”。更准确地说，他们建议在满足一定风险条件的情况下，应准备一个国际性的选择，以可验证的方式减缓或停止最前沿AI开发。

为何Anthropic使用如此强烈的表述

Anthropic表现出危机感的原因是，AI已经在AI开发领域开始扮演重要角色。该公司解释说，其内部合并的代码中有80%以上是由Claude编写的。此外，每位工程师的代码产量与过去相比大幅增加。

这不仅仅是“方便的代码辅助”的问题。几年前，AI只是提出短代码片段的存在。如今，它已经能够进行文件级编辑、修复错误、长时间工作，甚至分配给多个代理任务。Anthropic认为，如果这种变化继续下去，AI可能会在不久的将来承担模型开发的很大一部分。

当然，该公司并没有说“AI已经完全自我创造”。重要的是方向性。人类设定目标，AI思考方法，进行实验，编写代码，评估结果。如果这种比例逐渐倾向于AI，开发速度可能会在某个时刻大大超过人类社会的决策速度。

这里的问题不仅仅是AI的能力。社会制度、法律、审计、国际协议、企业治理、安全措施以及人类的理解力等周边系统能否跟上AI开发的速度。

AI在几天、几小时甚至更短的周期内不断改进，而政策和国际协议则以数月到数年为单位运作。这种速度差异正是Anthropic警告的核心所在。

为何“停止”如此困难

说暂停AI开发很容易，但执行起来极为困难。

首先是竞争问题。如果一家公司自愿停止开发，而其他公司没有停止，那么只有谨慎的公司会落后。国家之间也会发生同样的事情。即使美国公司停止，中国、欧洲、中东及其他国家和地区的公司和政府研究机构继续推进，技术主导权可能仅仅会转移。

其次是验证问题。与核武器或导弹设施等物理设备可以通过卫星轻松监控的领域不同，AI的大规模学习难以察觉。所需的东西是数据中心、GPU、电力、软件、研究人员和资金，其中大多数也用作民用通用基础设施。要确认有人秘密继续开发并不容易。

第三，“停止什么”的定义也很困难。是停止基础研究，还是仅停止大规模学习，是否允许改进现有模型，如何处理开源开发。若不决定停止的条件、解除的条件、监督主体以及违规时的制裁，就无法达成有效的协议。

Anthropic自己也承认了这种困难。他们要求的不是单纯的善意或单一公司的停止，而是多个主要AI实验室在相同条件下停止，并能够相互验证的机制。换句话说，这类似于AI版的军备控制。

社交媒体上的意见分歧明显

对此提案，社交媒体和技术社区的反应分裂。

支持者认为，Anthropic的警告是“来自内部的重要信号”。不是外部批评家或监管机构，而是开发最前沿AI的公司本身在关注开发速度与社会准备之间的差距，这一点很有分量。关注AI安全和政策的账户对正面处理递归自我改进的风险以及试图讨论行业整体可验证的减速表示赞赏。

另一方面，怀疑的反应也很强烈。在Hacker News等技术社区中，有人质疑“在宣扬安全的同时，全速推进AI开发是否矛盾”。Anthropic越是强调Claude生成代码和提高开发效率，就越会有人问“如果真的那么危险，为什么你们公司不先停止”。

此外，Claude的用户也有现实的不满。对于AI能够自律长时间工作的主张，实际使用中却面临API限制、临时故障、长时间任务中断等问题。这并不是对AI风险论本身的反驳，但显示出“是否真的达到如此自律阶段”的温差。

更有政治和商业倾向的评论者提出了更严厉的看法。有人怀疑，Anthropic在关注上市和巨额估值的同时，强调AI风险是否是一种影响监管框架、为自己形成有利规则的战略。尤其是，强有力的监管和验证制度可能对大公司来说是可行的，但对小公司和开源团体来说却是沉重的负担。因此，有人批评这是否是以“安全”为名压制竞争对手的监管俘获。

因此，社交媒体上的反应大致分为三类。第一，认为AI自我改进的风险是真实的，现在应该制定国际安全措施的支持派。第二，理解危险性，但对Anthropic自身的行为和主张感到矛盾的怀疑派。第三，认为这不是安全论，而是围绕监管、市场和IPO的企业战略的批判派。

与OpenAI等其他公司的立场差异

此次提案也凸显了与其他AI公司的差异。据报道，OpenAI方面认为，AI的规则和问责制不应由民间企业之间的协议决定，而应由民主政府制定。

这是一个重要的论点。像Anthropic这样拥有最前沿技术的公司说“让我们在行业内建立一个可以停止的机制”，乍一听似乎很现实。然而，单靠民间企业来决定对整个社会有影响的技术的刹车是否合适仍然是个问题。

另一方面，仅靠政府是否足够也很困难。AI开发的实际情况非常专业，进步也很快。监管机构要理解现场的技术水平，并跨国界制定有效的规则需要时间。在此期间，企业间的开发竞争仍在继续。

因此，今后需要的是企业、政府、研究人员和市民社会各自承担角色的复杂治理。企业公开内部数据和技术知识，政府承担民主合法性和执行力，第三方研究人员和市民社会进行监督和批评。Anthropic的提案作为这一讨论的契机是有意义的。

真正可怕的不是“失控的机器人”

提到AI风险，人们容易联想到电影中机器人反抗人类的形象。然而，此次讨论中重要的是更为平淡且现实的风险。

例如，如果AI具备大量发现软件漏洞的能力，可以用于防御也可以用于攻击。如果AI加速研发，将为医疗和科学带来巨大收益，同时也可能导致危险的生物学知识和网络攻击能力的扩散。如果AI将企业的生产力提高数十倍，劳动力市场和竞争环境将迅速变化。

此外，如果AI开始加速AI开发，人类可能会失去“理解发生了什么再进行应对”的余地。问题被发现时，下一代模型可能已经在运行。安全评估和审计尚未完成，能力却不断更新。这是对递归自我改进的根本性不安。

重要的是，Anthropic并没有否定AI的好处。该公司也承认AI可能在科学、医疗、网络防御和生产力提高方面带来巨大收益。问题在于，正因为利益巨大，开发竞争难以停止。

是否只是“制造恐慌”

正如批评者所指出的，当AI公司谈论风险时，总是存在利益冲突。当大公司说“这项技术很危险，需要监管”时，这种监管可能最终成为仅对大公司有利的进入壁垒。

尤其是Anthropic，一直将安全性作为其品牌的核心。强调AI的危险性与该公司的企业形象一致。对投资者和客户来说，这也可能表明“我们是最谨慎和负责任的AI公司”。

然而，这并不意味着警告本身毫无意义。即使企业的动机中包含战略性，所指出的技术问题仍有可能是真实的。更重要的是，不仅仅根据“谁在说”来判断，而是要分解主张的内容。

AI是否正在加速AI开发。
其速度是否正在超过社会制度。
暂停或减速是否在技术和政治上可验证。
这是否成为仅保护大公司的机制。
如何处理开源、中小企业和研究机构。
政府和民间企业谁应拥有最终决策权。

这些问题无论支持还是批评Anthropic都无法回避。

对日本来说也不是别人的事

这场讨论不仅仅是美国AI公司的事情。日本企业已经在业务效率化、开发、客户服务、广告制作、文章撰写、分析、教育等方面引入了生成AI。今后，如果AI代理能够自律处理多个业务，企业的竞争力将发生巨大变化。

另一方面，在AI基础模型的开发竞争中，日本严重依赖美国大公司。如果海外AI公司加快开发速度，其影响将波及日本的产业、就业和信息环境。反之，如果海外讨论AI开发的暂停或监管，也会影响日本企业的使用环境和成本。

特别是在媒体、广告、系统开发、金融、医疗、教育等领域，AI能力的提升直接关系到业务结构的变化。企业正从“因为方便所以使用”的阶段进入到“AI能负责到什么程度”、“谁来审计AI的判断”、“如何验证AI之间推进的工作结果”的阶段。

Anthropic的警告虽然基于最前沿AI实验室的内部情况，但其问题也适用于一般企业。AI编写的代码、AI撰写的文章、AI判断的审查、AI设计的广告活动，人类能在多大程度上理解并承担责任。这已经是现实的经营课题。

需要的不是“全面停止”或“无限制开发”的二选一

将此次讨论处理为AI推动派与反AI派的对立是危险的。需要的不是全面停止或无限制开发的二选一，而是设计出分阶段且可验证的刹车。

例如，要求使用一定以上计算资源的学习进行事前注册。对高级自律代理强制进行第三方评估。有限共享危险能力的评估结果。在确认重大安全风险时，多个企业能够同时减速开发的协议。研究检测违规或偷跑的技术机制。

这样的制度并不容易建立。但是，如果不开始构建，就永远赶不上。正如Anthropic所说，信任和验证机制不是一朝一夕能建立的。核军备管理等国际制度也是经过长时间构建而成的。在AI领域，可能没有那么多时间余裕。

当然，制度设计需要透明性。如果只有大型AI企业在密室制定规则，无法获得社会信任。即使AI开发的停止或减速是必要的，也不能成为部分企业加强市场支配的借口。

结论：Anthropic的警告指出了AI竞争的“下一个争论点”

此次Anthropic的提案表明，围绕AI的讨论进入了一个新阶段。过去，讨论的中心是AI是否会夺走人类的工作、增加虚假信息或侵犯版权等问题。未来，人类社会如何在AI加速AI开发的时代保持主导权将成为关注点。

SNS上的意见分歧是理所当然的。Anthropic的主张中同时存在安全上的严肃问题和作为企业战略的方面。支持者认为，递归自我改进可能是不可忽视的风险。批评者则认为，开发企业自身试图成为监管设计者需要警惕。

然而，无论采取哪种立场，只有一点是明确的。AI开发的速度已经开始超过社会讨论的速度。因此，现在需要的不是被恐惧牵着走，也不是逃避乐观。

在进入AI创造AI的时代之前，人类必须决定在什么条件下推进，什么条件下停止。推迟制定规则，未来的选择将越来越少。

出处URL

Lanka Newspapers的文章。关于Anthropic警告AI失控风险及行业跨越的开发停止和减速必要性的文章。
https://www.lankanewspapers.com/2026/06/06/anthropic-warns-ai-could-spiral-out-of-human-control-calls-for-industry-wide-development-pause

Anthropic Institute的官方文章。关于递归自我改进、Claude对AI开发支持、开发减速和暂停理念的一手信息。
https://www.anthropic.com/institute/recursive-self-improvement

AP通信的文章。关于Anthropic的提案内容、OpenAI的观点、可验证停止机制必要性的报道。
https://apnews.com/article/938c99158e5953601cf3322f1cec12af

Business Insider的文章。汇总了专家、政治人士、行业人士对Anthropic的AI开发暂停提案的反应的报道。##HTML_TAG_