AI末日论迫近!从停电到核危机,究竟有多现实?阅读英国报纸的“AI末日情景”

AI末日论迫近!从停电到核危机,究竟有多现实?阅读英国报纸的“AI末日情景”

凌晨0时2分,AI是否应该停止银行业务?

银行转账过程中屏幕冻结。没有显示完成,款项也还未到达对方账户。是再次按下按钮,还是等待?即使是一笔转账,如果不清楚处理进度,也难以做出判断。如果是负责银行、政府或电力公司的系统,首先应该确认什么呢?

2026年11月20日,英国《每日邮报》的记者盖伊·亚当斯在美国东海岸的数据中心,以分钟为单位描绘了一场围绕AI的虚构危机。标题中出现了消失的城市灯光、金钱,甚至核武器。然而,在这个故事中最难回答的问题出现在凌晨0时2分的场景中,那时一切看起来还没有完全无可挽回。


“保护数据”和“不要停止”无法同时实现的夜晚

数据中心发现了软件故障。负责应对的AI被要求既要保护客户的机密数据,又要保持重要服务的持续运行。通常情况下,无论以哪个为目标都不会有问题。只有在这个夜晚,情况有所不同。

如果暂时切断可能受影响的部分,可以在保护数据的同时进行修复。另一方面,依赖该设备的银行交易、政府服务和电力供应可能会受到影响。对于用户来说,他们希望在告知故障的同时,也能在需要时使用服务。两种说法都有其理由。

在这里,首次显现出从两个指示中遗漏的东西。为了保护数据,可以停止哪些服务,停止多长时间?由谁来承担这种不利影响的决定?即使再快找到修复方法,这个问题的答案也无法从计算速度中得出。


是谁描绘了停电后核危机的场景

亚当斯记者采访了专家,并询问了多个AI关于危机如何发展的看法,从而构建了这个故事。以分钟为单位的时间安排,让读者体验到下一步决策的紧迫性。然而,凌晨0时2分这个时间并不是通过实验测量得出的。停电和金融混乱后发展到核危机的情节,也是记者选择的剧本。

例如,银行交易停止的情节可以理解为多个金融机构依赖同一设备的设定。要发展到军事危机,还需要解释谁信任哪些信息,以什么权限行动。前一个事件具有现实感,并不意味着下一个事件的概率也会增加。

另一方面,故事背景中的研究人员的担忧是真实的。AI安全性研究员保罗·克里斯蒂亚诺将人类无法控制AI的可能性比作掷硬币,前提是追求最短、最快的开发。这是对未来三年的个人评估,如果将其解读为“人类在三年内灭亡的概率为50%”,条件和预测的事件都会改变。


社交媒体上对事故的担忧,读者对文章的幽默回应

在英国报纸的文章发表之前,克里斯蒂亚诺的言论已经在美国论坛型社交媒体Reddit上成为话题。在讨论通用人工智能的社区中,有人认为,既然强大的技术变化如此之快,一切不可能按计划进行,大事故可能会发生。

 

在另一个讨论同一言论的帖子中,有人发帖称,谈论AI的人没有充分考虑这项技术掌握在谁手中。前者担心的是变化的速度,而后者关注的是掌握权力的人。即使听到同样的警告,想到的危险也不同。

对文章本身的反应则更加轻松。在《每日邮报》的评论区,一位英国读者开玩笑说,至少要等比赛结束,如果要避难,最好在舒适的酒吧里。面对以分钟为单位宣布世界末日的标题,他以比赛结束的时间回应。


日本两天未能到账的转账

如果将这个故事拉近到日本的生活中,比起核危机,更容易想象的是约定日期款项未到账的早晨。

2023年10月10日至11日,全国银行数据通信系统(全银系统)发生故障,导致部分金融机构的跨行转账和存款延迟。全国银行协会随后公布的协议中,将因延迟而由用户额外支付的手续费、滞纳金、延迟损害金、利息列为补偿对象。

在这个案例中,发生的是汇款未能按计划时间到账。这与账户记录消失不同。即便如此,对于承诺当天付款的人来说,仅仅是第二天到账就会造成实际损失。“钱消失”这样的大词难以看清的是这一天的重量。

回到英国报纸描绘的夜晚。凌晨0时2分的负责人需要的是预测人类结局的能力吗?更想知道的是,如果现在停止,谁会受困;如果继续,哪些记录会有风险;以及何时能向用户传达确切的信息。对于在转账前盯着屏幕的人来说,最想要的答案一定是一个:“这笔汇款需要重新进行吗?”


出处