AI的可靠性会进化到什么程度？0%错误保证的冲击：用数学公式封锁AI不确定性的新理论

引言——“AI真的安全吗？”这个问题

在生成AI热潮的背后，像医疗和自动驾驶这样的“关乎生命”的领域中，“概率0.01%的事故”可能导致最坏的情况。因此，关键在于量化“不确定性（Uncertainty）”。然而，目前主流的Dropout估计和贝叶斯推论仅是“近似”。几乎不存在**“数学上保证不会出错”**的方法。

TU Wien的突破

2025年6月，**维也纳工业大学（TU Wien）**的Andrey Kofnov等人提出了一种“将输入空间划分为高维多面体，并为每个区域计算严格的输出分布上限/下限”的方法。论文已在arXiv上发表，并被ICML 2025接收phys.org。

有什么新意？

1. 几何分区

   • 映射到ReLU网络，将输入空间划分为凸多面体的瓷砖状。

   • 对每个多面体区域进行线性映射“封闭”，分析输出的概率分布。

2. “严格”计算上下限

   • 不是近似，而是提供“绝对不会超出此范围”的数学证明。

3. 处理整个概率分布

   • 泛化到ReLU/tanh/softmax等。

4. 仅限于小规模NN

   • 对于LLM，计算量仍然巨大（作者也明确指出这是一个问题）phys.org。

技术核心：将高维空间“可视化”

• 输入空间：以像素值×噪声×照明等为坐标的“n维宇宙”。

• 分割：在激活模式变化的边界生成多面体。

• 分析：在每个多面体内，NN是线性的，因此输出分布是线性变换后的概率分布。

• 聚合：整合所有多面体，给输出的累积分布函数（CDF）加上上下限。

与现有方法的比较

应用场景

1. 医疗嵌入式AI：如导管机器人图像识别模型等，误诊可能致命的设备。

2. 自动驾驶的传感器融合：100%带证明验证超声波/雷达混合NN。

3. 金融风险计算：将小规模NN嵌入实时审计中自动保证阈值。

SNS的反应

• Hacker News用户 @quant_curious

  “比起通过拒绝验证来衡量质量的现有UQ，理论更优美”news.ycombinator.com

• Hacker News评论 @esafak

  “贝叶斯NN也能提供不确定性，但校准困难。数学保证是游戏规则改变者”news.ycombinator.com

• Reddit r/MachineLearning 线程

  “深度学习的UQ一直被认为‘还差一步’。如果有证明，FDA认证也指日可待”reddit.com

• X（旧Twitter）上，TU Wien官方账号

  “#AI安全性的新篇章”并报告ICML接收，获得超过500个赞（发布于2025-07-01）tuwien.at

专家意见

• Prof. Ezio Bartocci（共同作者）

  “像ChatGPT这样的巨大模型是一个遥远的目标，但我们希望从小模型开始建立安全证明的文化”phys.org

• 外部研究人员的看法
  贝叶斯统计学家评论道“严格性是好的，但与部署现实的折衷是一个挑战”（Hacker News）news.ycombinator.com。

挑战与未来

1. 降低计算成本：通过采样/近似抑制多面体数量的指数增长。

2. 扩展到中等规模NN：希望在GPU上能在几分钟内评估数万参数级别。

3. 法规应对：在EU AI法案的“高风险系统”审查中引入数学保证。

总结

• 意义：为AI安全性开辟了一条“不是概率论，而是通过数学来明确”的道路。

• 影响：如果在医疗设备、航空控制等“零容忍”领域普及，AI的引入将加速。

• 未来展望：到2030年，“NN首先缩小规模进行严格验证，然后蒸馏到大规模模型”的工作流程可能会成为常态。