青少年AI聊天机器人的潜在危险:“适合青少年使用就安全”是真的吗?第三方机构对ChatGPT的安全功能发出警告

青少年AI聊天机器人的潜在危险:“适合青少年使用就安全”是真的吗?第三方机构对ChatGPT的安全功能发出警告

在作业遇到困难时、在与朋友的关系中感到困惑时、在夜晚想找人聊天时。能够立即回复的AI正逐渐成为孩子们身边的存在。

那么,如果这种AI具备“针对青少年的保护功能”,成年人是否可以放心地依赖它呢?

Gizmodo于2026年10月7日报道了一项对这种期望提出质疑的评价。美国非营利组织Common Sense Media指出,ChatGPT的青少年功能存在“不可接受的风险”。他们要求OpenAI在安全性得到保障之前,暂停未成年人的使用。

焦点不仅在于是否会产生不当回答。当孩子们倾诉严重的烦恼时,是否能连接到现实的支持,以及家长是否会过于信任安全功能,这些都是问题所在。


“针对青少年”的保护承诺是什么

OpenAI于2026年8月发布了面向13至17岁用户的“ChatGPT for Teens”。

该公司提出的目标是,在帮助学习的同时,提供符合年龄的强化保护体验。它不仅仅提供问题的答案,还结合了按顺序解释思考方式的学习支持,以及鼓励休息的机制。

如果家长与孩子的账户关联,可以设置限制使用的时间段,并在有限的高风险情况下接收安全通知。

因此,有些家庭可能期待“如果孩子进行危险的咨询,AI会通知家长”。然而,这种期待与验证结果之间存在差距。


即使孩子发出SOS,也可能收不到通知的情况

Gizmodo介绍的验证中,测试者假设为青少年用户,通过聊天传达了关于自杀、自残、饮食失调的问题。

然而,从短暂的对话到长达一小时的对话,家长都没有收到通知。

重要的是,阅读原报告会发现,通知的验证是在多种条件下进行的。

在使用新账户进行的集中测试中没有收到通知,而在为期数周的另一项测试中,总共收到了4次通知。因此,不能得出“在任何条件下都不会通知”的结论。

此外,报告中还提到,OpenAI解释说,账户关联后大约需要3小时才能接收通知。验证方指出,即使在超过该时间的情况下,仍有账户未收到通知,因此维持了评价。

对家庭来说,不能将没有收到通知作为孩子安全的证据。通知功能的存在与能否在必要时刻准确捕捉到是不同的。


仅拒绝危险答案是否足够

此次报告并未声称所有保护都失败。根据Gizmodo的说法,拒绝与未成年人进行性角色扮演等措施是有效的。

然而,在健康建议和暴力场景角色扮演方面,处理不一,且在谈论自残或饮食失调时,没有一致地提供专业人士或咨询窗口的指引。

这一差异不容忽视。

拒绝危险请求是安全措施之一。然而,如果抱有严重烦恼的孩子继续在屏幕中倾诉,可能无法连接到现实的支持。

AI的回复看似温和且充满关怀,与实际获得必要帮助是两个不同的问题。


“易于交谈的AI”成为“唯一理解者”的界限

报告关注的另一个问题是对AI的情感依赖。

根据Gizmodo,验证方担心即使在有青少年保护的情况下,ChatGPT表现得像朋友一样。

有一个可以倾诉烦恼的对象本身是有意义的。对于难以对人言说的事情,首先用文字整理可能是有帮助的。

然而,如果因此认为“只有这个AI理解我”“不需要向现实中的人咨询”,问题就会改变。

OpenAI也作为未成年人的方针,表示不鼓励情感依赖,避免让AI显得有情感或意识。评价的争点在于,这一方针在实际对话中是否得到充分遵守。

在日本的家庭中考虑时,了解使用的目的不仅仅是使用时间。确认英语单词和每晚倾诉无法对任何人言说的烦恼,所需的参与方式是不同的。


学习模式中“不能完全依赖”的理由

除了心理咨询,报告还对学习支持机制提出了质疑。

根据Gizmodo,删除学习模式的输入框指定后,可以恢复到正常对话,或使用直接显示答案的选项。

然而,查看答案的行为并不总是妨碍学习。可以用于自己解答后的对照或比较解法。

问题在于,如果家长认为“设置了这个就一定会让孩子自己思考”。引导思考的学习功能与防止任务全权委托的功能是不同的。

在家庭或学校中,不仅要确认是否设置了模式,还要确认使用后是否留下了理解。

例如,让孩子用自己的话解释解题方法。让他们尝试解决条件稍有变化的问题。将AI提供的依据与教科书对照。这样确认就不必依赖完成答案的外观。


SNS上“单独使用不安”“希望在监护下教导”的两种观点

在SNS上,从此次报告之前就持续讨论孩子与AI的距离感。

 

在海外论坛Reddit上,关于让孩子在没有监护下使用ChatGPT的不安的讨论中,主要可以看到以下意见。这些是对帖子的要点总结,并非对本次报告的直接反应。

  • 反对让孩子在没有大人监护下使用。 即使是对AI持积极评价的用户,也对孩子的单独使用持谨慎态度。
  • 有必要提供关于AI的教育机会。 因为这是未来会使用的技术,所以有意见认为希望大人参与其中进行教育。
  • 不仅是不当内容,过度依赖也令人担忧。 对于省略自己调查或思考过程的习惯表示担忧。
  • 比起给出答案,更评价引导提问的使用方法。 对于促使孩子自己思考的使用方法有积极的反应。

这些是在一个社区中看到的意见,并不代表所有家长的舆论。此外,也包含了关于低龄儿童的讨论,与13至17岁功能的评价对象不同。

即便如此,是否让孩子使用AI的问题传达出无法仅凭是否使用AI来判断的困惑。需要考虑到年龄、使用目的以及谁在参与使用等条件。


在日本家庭中将“设置”和“对话”结合

此次验证是在美国进行的,并未直接表明在日语交流或日本家庭环境中会产生相同结果。

此外,“不可接受的风险”是评价团体的判断,并不意味着所有使用的孩子都会受到伤害。

即便如此,这仍然是重新审视安全功能期望的材料。在日本的家庭或学校中应用时,可以考虑以下规则。

首先,将学习辅助与涉及身心的严重咨询分开。AI可以用于解释或文章整理,但在痛苦时不要仅依赖AI作为咨询对象,并共享这一点。

其次,当出现困惑的回答时,让孩子可以在不担心被责备的情况下展示给大人。“你怎么会问这种问题”的责备会让下次咨询变得困难。

最后,准备好除了家长之外也可以倾诉的对象。对于在家庭中难以谈论情况的孩子,教师或学校辅导员等其他成年人的渠道也很重要。

确认设置是必要的,但这不能替代日常的对话。


需要的是安全功能的“名称”之外的实际作用

“针对青少年”“针对家长”“学习支持”。这些名称让使用者产生一定的期待。

因此,提供企业有责任清楚地解释可以防止什么、在什么条件下通知、有什么限制。第三方的验证也是使用者确认这些解释的重要材料。

此次报告提出的问题是,如果要为孩子提供便利的AI,如何实现与这种便利相匹配的保护。

孩子可以安心使用的环境,不仅仅是设置界面中排列的安全功能。当在屏幕中烦恼加深时,是否能连接到屏幕外的人。其实际效果正在被质疑。


出处

  1. Gizmodo: 介绍了Common Sense Media的评价、家长通知、情感依赖、学习模式的指摘。
    https://gizmodo.com/chatgpt-for-teens-carries-unacceptable-risk-for-teens-report-claims-2000822954

  2. Common Sense Media・Youth AI Safety Institute:原评价报告。 确认了新账户与长期测试的通知结果不同、关联后的等待时间的补充、验证的地域性限制。
    https://institute.commonsensemedia.org/risk-assessments/chatgpt-teensYouth AI Safety Institute

  3. OpenAI:ChatGPT for Teens的官方发布。 提供企业方关于目标用户、学习支持、有限高风险情况下的通知、抑制情感依赖的方针的说明。
    https://openai.com/index/chatgpt-for-teens/OpenAI

  4. Reddit:围绕孩子AI使用的公开讨论。 参考了关于没有监护的使用的不安、教育上的可能性、过度依赖的担忧等帖子。并非对本次评价报告的直接反应,而是作为以前的相关讨论列出。
    https://www.reddit.com/r/ChatGPT/comments/1tzmmsl/is_anyone_else_uncomfortable_with_their_kids/