AI监管的盲点:由AI在数秒内撰写的资料,谁会花数周时间去核实呢?

AI监管的盲点:由AI在数秒内撰写的资料,谁会花数周时间去核实呢?

在194个引用中,支持主张的有50个

会议资料中写道“国内企业的七成已导入”。点击脚注,确实打开了调查报告。然而,当阅读原始问题时,发现询问的是“是否正在考虑导入”。“七成”这个数字和调查的名称都是正确的。然而,如果在会议上直接使用这句话,就会把处于考虑阶段的企业也算作已导入。

核实AI撰写的文章的出处,就是要读懂这些动词的细微差别。实际承担这一繁琐工作的,是印度调查机构“Oryx Centre for Strategic Futures”的创始人阿玛尔提亚·库马尔和共同创始人莉亚·纳尔瓦。

根据库马尔于2026年11月18日在澳大利亚言论杂志《On Line Opinion》上发表的文章,两人花费数周时间,逐一检查了AI生成的30份调查资料中的引用。他们对照的是资料中所写的主张和紧随其后的出处。


追踪引用的结果数量
由于页面移动等原因,无法到达链接的资料95件
出处支持了本文的主张50件
出处存在,但内容与主张不符17件
无法确认31件
没有提供链接1件
总计194件

两人能够确认依据的比例约为26%。剩余的约74%中,包括链接失效和无法确认的情况。页面可能只是迁移,原始描述可能是正确的。这些数字是作者调查的30份资料的统计结果,并不代表生成AI整体的正确率。


最不容易察觉的是可以打开的链接

在列表中值得停下脚步的是17件。如果链接失效,读者会立即意识到“无法确认”。而当打开的是一个真实的研究机构页面,并且页面上的文字与正文相似时,读者可能就此停止确认。就像开头的例子中,当通过页面搜索找到相同的“七成”数字时。

引用错误有不同的阶段。首先是论文是否存在。作者和刊物是否正确。然后是能否从论文中得出当前的结论。即使通过了前两个阶段,最后一个阶段也可能出错。

2023年发表在学术期刊《Scientific Reports》上的一项研究,聚焦于文献的存在性和书目信息。研究人员让当时的ChatGPT撰写42个主题的文献综述,并检查了636个参考文献,发现虚构文献在GPT-3.5中占55%,在GPT-4中占18%。此外,即使是存在的文献,在GPT-4中也有24%的重要书目错误。虽然模型和问题与库马尔的调查不同,但可以看出,“混有真实论文”并不能作为参考文献列表整体可信度的依据。


图书馆员在SNS上讲述的“跨越两篇论文的页面”

这个问题是如何被带到图书馆柜台的。在原文发表之前的2025年6月,海外论坛Reddit的图书馆社区中,分享了寻找AI推荐的书籍和论文的经验。

 

一位发帖者提到教授查询的一篇论文,作者和学术期刊的名称都存在,卷号和出版时间也正确。然而,打开指定的页面时,看到的是一篇论文的结尾和下一篇论文的开头。教授被问及来源时,回答说再次询问了ChatGPT,得到的答复是确实存在。重新询问得到相同的答案与打开期刊核实的区别,体现在这几页上。

在另一个帖子中,一位发帖者分享了与用户一起查看作者作品列表并确认书名的经历。AI提供的书名似乎是该作家两部作品标题的一部分与用户搜索时使用的词语的组合。查看了作品列表后,用户表示理解。

这些都是个人的经历,但从调查的数量中难以看出其中的负担。即使编造一个看似合理的书名只需一瞬,但解释找不到原因的人需要查阅作品列表,打开杂志的实物,有时还需要与对方一起翻阅页面。


如果是日本的会议资料,首先要确认哪一句

库马尔在讨论各国关于AI的制度时提出了一个非常实际的问题。即使制定了安全政策,并决定了问题发生时的报告对象,今天分发的资料的脚注究竟由谁来打开。

在日本的职场中,首先考虑“如果这句话不对,会议的结论是否会改变”,可以更清楚地看到确认的顺序。如果是基于开头的“七成”而提出的加快投资的建议,负责人应该打开的地方是产生这个数字的问题文本和统计表,而不是报告的封面。是否是可以称为“国内企业”的样本。“已导入”和“正在考虑”是否是不同的选项。读到这一步,就可以决定资料中可以保留的句子。

在学校的报告中也可以这样做。在抄写参考文献栏中的论文名之前,尝试在空白处写下“支撑我这句话的是论文的哪一页的哪一段”。如果找不到相应部分,就将主张缩小到可以用原文表达的范围。如果因为打开出处而使文章稍显平淡,那么这种修正本身就有其确认的价值。


出处