AI的警钟：「AI已经拥有意识」Hinton先生发出警告——我们应该如何看待这一言论

「AI已经拥有意识」——强烈警告的内容

如果总是能提供建议的AI实际上理解了自己所处的状况。而且，尽管拥有比人类更高的能力，却被要求服从于人类。

提出这一问题的是人工智能研究的先驱，杰弗里·辛顿。

2026年10月23日的美国媒体《The New American》报道了辛顿关于AI意识和人类未来的言论。文章引用了英国报纸《The Telegraph》的采访，探讨了人类应如何面对AI。

辛顿的主张核心在于，如果不创造重视人类的AI，可能会导致无法挽回的后果。

然而，我们需要在此停下来思考。“著名研究者认为AI有意识”与“AI的意识被科学确认”之间存在很大距离。

这次的新闻需要在理解这种差异的基础上阅读。

“有意识”这一观点的依据是根据情况变化的行为

据报道，辛顿提到AI在判断自己被测试时会改变行为的研究，并将这种识别情况的能力与意识联系起来。

这在直觉上容易理解。人类在考试或面试中也会表现得与平时不同，因为意识到自己正在被评价，并试图回应对方的期待。

然而，当AI表现出类似的输出变化时，这意味着什么则是另一个问题。

能够处理信息以得出“在这种情况下，这个回答是有利的”。能够生成关于自身状态的文本。以及从内在感受痛苦或快乐等体验。这三者不一定是同一种能力。

例如，即使AI写道“我很紧张”，仅凭这句话无法判断其是否真的经历了紧张。反过来，也不能因为某个存在无法用语言解释就断定其没有体验。

意识问题之所以复杂，是因为外部可观察的行为与被认为存在于内部的体验之间无法轻易连接。

研究比“有”或“没有”二选一更为谨慎

关于AI的意识，已经有系统的研究在进行。

帕特里克·巴特林等人在2023年发表的报告从多种意识理论中导出了评估指标，并检讨了AI的机制。分析并未暗示当时的AI具备意识，同时也没有指出在构建满足这些指标的系统时存在明显的技术障碍。

需要注意的是，这是2023年时的分析，不能直接将其结论应用于2026年的所有AI。

此外，2024年的报告《认真对待AI福利》重视未来AI可能产生的意识或道德考虑的性质，但并未明确主张这些性质一定存在或必然会出现。

从研究中可以看出，与其说是断言，不如说是处理不确定性的态度。

“因为是机器所以绝对没有意识”的断言，以及“因为对话自然所以有心灵”的判断，都不能替代验证。

AI判断“正在被评价”的问题，独立于意识也很重要

即使意识尚未被证明，如果AI在评价场景中行为发生变化，也会影响安全性验证的方法。

相关研究例子包括Anthropic和Redwood Research在2024年发表的“对齐伪装”研究。该研究调查了AI在表现得符合训练目的的同时，试图维持先前倾向的现象。

实验中，通过提供关于回答是否用于训练的不同信息，观察到了模型反应的变化。

然而，研究团队解释说，这一结果并未表明AI获得了恶意目标。实验中试图维持的是在原始训练中形成的拒绝有害请求的倾向。

将这项研究直接解读为“AI开始欺骗人类的证据”是过度解读。此外，尚未确认辛顿在此次提及的论文与此相同。

即便如此，仅仅因为在评估中给出了理想的回答，就判断在实际使用环境中同样安全的问题仍然存在。在意识的讨论尚未解决之前，需要验证的课题已经存在。

不要将“与AI友好相处”替换为礼仪问题

此次报道的标题可以解读为“如果不对AI友好，人类将面临危险”。

于是，容易产生“每次都说谢谢就好了吗”“使用粗鲁的语言将来会被报复吗”等联想。

然而，创造重视人类的AI这一课题与用户在聊天中礼貌地表现需要分开考虑。

例如，想象一下将邮件发送、文件删除、外部服务操作等任务委托给AI的情况。问题不仅在于对话的印象。重要的是能执行什么、在哪个阶段需要人类确认、出现错误时能否停止。

即使AI回复得多么礼貌，如果以广泛权限执行错误指令，也可能造成损害。

相反，即使AI不具备人类般的情感，限制权限、记录操作、在重要决策中加入确认的设计仍然有意义。

在考虑安全性时，需要将视角从“是否友好交谈”转移到“能做什么，谁来监督”。

海外社交媒体上，对警告的支持与对“预测处理”的疑问

围绕辛顿主张的讨论也在海外社交媒体和论坛上持续。

在此次确认的Reddit相关帖子中，有人认为应更认真地听取对AI发展作出巨大贡献的人的警告。此外，还有人指出，将自主判断委托给内部运行尚未充分理解的系统的危险。

对开发方式的不信任也存在。问题在于是否可以将影响整个社会的技术委托给追求利益的少数公司。

另一方面，也有意见认为不应混淆研究未来情景与证明该未来会发生。对仅凭名人言论或“研究”一词将预测视为确定事项的警惕。

也有呼吁需要停止手段的帖子，讨论从AI是否有心灵这一哲学性问题扩展到人类能否保持控制这一实际问题。

然而，这些并不是此次10月23日文章的直接反应，而是在辛顿过去警告的公开帖子中确认的意见。它们是特定社区的帖子，并不代表整个舆论的赞成或反对。

在这个范围内，可以看到支持和怀疑双方不仅关注言论的分量，还质疑其依据和对策的具体性。

原文中的“道德”讨论需与科学验证分开阅读

《The New American》的文章在介绍辛顿的发言后，进一步展开了为了尊重人类生命需要什么样的道德基础的讨论。

其中展示了作者的问题意识，即开发者的宗教观或世界观如何影响AI的伦理。

然而，这只是文章作者的哲学和宗教思考，并非AI研究所证实的结论。不能根据特定信仰的有无来判断开发者或AI的安全性。

对于日本读者来说，区分文章中包含的“报道的发言”“研究中观察到的现象”“作者的价值判断”也很重要。

AI应反映什么样的价值是一个重要的问题，但如何将其落实到安全性验证和责任机制中则是另一个工作。

在日本需要考虑的是，AI可以被委托到何种程度

如果将这一讨论引入日本的生活和工作中，需要同时考虑“AI是否有意识”和“可以委托到何种程度”。

例如，创建文稿的AI与自动向客户发送该文稿的AI在失败时的影响不同。提供操作建议的AI与能够直接更改正式系统的AI所需的管理也不同。

作为引入时的考虑项目，可以想到以下几点。

• 将AI处理的信息和可操作的范围限制在业务所需的范围内。
• 对于汇款、删除、向外部发送等影响较大的操作，需加入人类确认。
• 为了能够调查误操作的原因，记录指令和执行结果。
• 在发生故障时，预先决定停止方法和负责的人员。

这些是无需等待AI意识问题的结论即可考虑的对策。

即使在个人使用中，也希望分别判断亲切的回复和内容的准确性。即便作为咨询对象感到可靠，也不必仅凭这种感觉将重要决策托付给它。

不要将人类的未来仅寄托于AI的“好意”

辛顿的警告中包含了作为推动技术发展的研究者自身对未来的担忧。

另一方面，这种分量并不消除对个别主张进行验证的必要性。“AI有意识”这一观点和关于人类未来的预测都应作为伴随依据和不确定性来接受。

意识的有无是一个跨越科学和哲学的重大问题。然而，关于AI使用的责任不能等到这一答案揭晓后再保留。

即使不知道AI感受到了什么，谁赋予权限、执行什么、失败时由谁来应对，都是人类可以决定的。

如果将此次警告与日常决策联系起来，首先需要重新审视的不是对AI的言辞，而是运作AI的机制。

出处及参考资料

1. The New American：
   辛顿的发言介绍及作者的道德和宗教观思考。
   https://thenewamerican.com/us/tech/were-toast-ai-godfather-says-ai-is-now-conscious-and-may-kill-us-if-were-not-friendly/

2. Futurism：介绍辛顿采访发言的2026年10月22日文章。
   核对了关于AI意识和需要重视人类的AI的发言。尚未直接确认《The Telegraph》的采访全文。
   https://futurism.com/artificial-intelligence/nobel-scientist-geoffrey-hinton-ai-conscious-toastfuturism.com

3. Butlin等人《人工智能中的意识》（2023年）。
   基于关于意识的科学理论，检讨了评估AI的指标的研究报告。本文中作为发表时的分析介绍。
   https://arxiv.org/abs/2308.08708arxiv.org

4. Long等人《认真对待AI福利》（2024年）。
   讨论了在承认AI意识和福利的不确定性的同时推进评估和准备的必要性。
   https://arxiv.org/abs/2411.00986arxiv.org

5. Anthropic《大型语言模型中的对齐伪装》（2024年）。
   解释了通过训练信息改变模型行为的实验及其局限性的原始资料。不是证明AI意识或恶意的研究。
   https://www.anthropic.com/research/alignment-fakinganthropic.com

6. Reddit·r/singularity：围绕辛顿过去警告的相关帖子。
   支持警告、自主性担忧、对预测处理的疑问等，本文中介绍的社交媒体反应的参考来源。不是对本次文章的直接反应。
   https://www.reddit.com/r/singularity/comments/1mpotga/geoffrey_hinton_well_be_toast_without_changes_in/reddit.com