จุดบอดของการควบคุม AI: ใครจะเป็นผู้ตรวจสอบเอกสารที่ AI เขียนขึ้นในไม่กี่วินาที ซึ่งอาจใช้เวลาหลายสัปดาห์

จุดบอดของการควบคุม AI: ใครจะเป็นผู้ตรวจสอบเอกสารที่ AI เขียนขึ้นในไม่กี่วินาที ซึ่งอาจใช้เวลาหลายสัปดาห์

จากการอ้างอิง 194 รายการ มีเพียง 50 รายการที่สนับสนุนข้ออ้าง

ในเอกสารการประชุมระบุว่า "70% ของบริษัทในประเทศได้นำไปใช้" เมื่อกดดูเชิงอรรถ รายงานการสำรวจก็เปิดขึ้นจริง แต่เมื่ออ่านคำถามต้นฉบับ พบว่าถามว่า "กำลังพิจารณานำไปใช้หรือไม่" ตัวเลข "70%" และชื่อการสำรวจก็ถูกต้อง แต่ถ้าใช้ประโยคนี้ในที่ประชุม จะนับรวมบริษัทที่อยู่ในขั้นตอนการพิจารณาเป็นบริษัทที่ได้นำไปใช้แล้ว

การตรวจสอบแหล่งที่มาของบทความที่เขียนโดย AI คือการอ่านความแตกต่างของคำกริยาเช่นนี้ ผู้ที่รับภาระนี้จริง ๆ คือ คุณอมาร์ติยา กุมาร ผู้ก่อตั้งสถาบันวิจัยในอินเดีย "Oryx Centre for Strategic Futures" และผู้ร่วมก่อตั้ง คุณริยา นาลวา

ตามบทความที่กุมารเขียนลงในนิตยสาร 'On Line Opinion' ของออสเตรเลียเมื่อวันที่ 18 พฤศจิกายน 2026 ทั้งสองใช้เวลาหลายสัปดาห์ในการตรวจสอบการอ้างอิง 30 รายการที่สร้างโดย AI โดยเปรียบเทียบข้ออ้างในเอกสารกับแหล่งที่มาที่แนบอยู่ใกล้ ๆ


ผลจากการติดตามการอ้างอิงจำนวน
ไม่สามารถเข้าถึงเอกสารที่ลิงก์ไว้ได้เนื่องจากการย้ายหน้า95 รายการ
แหล่งที่มาสนับสนุนข้ออ้างในบทความ50 รายการ
แหล่งที่มีอยู่จริงแต่เนื้อหาไม่ตรงกับข้ออ้าง17 รายการ
ไม่สามารถตรวจสอบได้31 รายการ
ไม่มีการระบุลิงก์1 รายการ
รวม194 รายการ

อัตราที่ทั้งสองสามารถยืนยันได้คือประมาณ 26% ส่วนที่เหลือประมาณ 74% รวมถึงลิงก์ที่ขาดหายหรือไม่สามารถตรวจสอบได้ อาจเป็นไปได้ว่าหน้าเพียงย้ายที่ แต่คำอธิบายเดิมยังคงถูกต้อง ตัวเลขนี้เป็นการรวบรวมจาก 30 รายการที่ผู้เขียนตรวจสอบ ไม่ได้แสดงถึงอัตราความถูกต้องของ AI ทั้งหมด


สิ่งที่ยากที่สุดที่จะสังเกตเห็นคือ ลิงก์ที่เปิดได้

ในรายการที่ต้องการหยุดดูคือ 17 รายการ หากลิงก์ขาดหาย ผู้อ่านจะสังเกตได้ทันทีว่า "ไม่สามารถตรวจสอบได้" แต่เมื่อหน้าเว็บของสถาบันวิจัยที่มีอยู่จริงเปิดขึ้น และมีคำที่คล้ายกันเรียงรายอยู่ ผู้อ่านอาจต้องการหยุดการตรวจสอบ เช่นในตัวอย่างแรก เมื่อค้นหา "70%" ในหน้าและพบตัวเลขเดียวกัน

ข้อผิดพลาดในการอ้างอิงมีหลายขั้นตอน ตั้งแต่การมีอยู่ของบทความ ผู้เขียนและวารสารถูกต้องหรือไม่ และสามารถสรุปข้อสรุปจากบทความนั้นได้หรือไม่ แม้ว่าจะผ่านสองขั้นตอนแรก แต่ก็อาจสะดุดในขั้นตอนสุดท้าย

การวิจัยที่ตีพิมพ์ในวารสาร 'Scientific Reports' ในปี 2023 มุ่งเน้นไปที่การมีอยู่ของเอกสารและความถูกต้องของข้อมูลบรรณานุกรม นักวิจัยให้ ChatGPT เขียนบทวิจารณ์วรรณกรรมใน 42 หัวข้อ และตรวจสอบเอกสารอ้างอิง 636 รายการ พบว่าเอกสารที่ไม่มีอยู่จริงมี 55% ใน GPT-3.5 และ 18% ใน GPT-4 นอกจากนี้ใน GPT-4แม้ในเอกสารที่มีอยู่จริง พบข้อผิดพลาดบรรณานุกรมสำคัญ 24% แม้ว่าแบบจำลองและปัญหาจะแตกต่างจากการวิจัยของกุมาร แต่ก็แสดงให้เห็นว่า "การมีบทความจริงปะปนอยู่" ไม่สามารถเป็นพื้นฐานของความน่าเชื่อถือของรายการอ้างอิงทั้งหมดได้


บรรณารักษ์ใน SNS เล่าถึง "หน้าที่ครอบคลุมสองบทความ"

ปัญหานี้จะถูกนำไปที่เคาน์เตอร์ห้องสมุดอย่างไร ในเดือนมิถุนายน 2025 ก่อนการตีพิมพ์บทความต้นฉบับ ชุมชนห้องสมุดใน Reddit ได้แบ่งปันประสบการณ์ในการค้นหาหนังสือหรือบทความที่ AI แนะนำ

 

ผู้โพสต์คนหนึ่งได้รับการสอบถามจากอาจารย์เกี่ยวกับบทความที่มีชื่อผู้วิจัยและชื่อวารสารที่มีอยู่จริง และหมายเลขเล่มและช่วงเวลาการตีพิมพ์ก็ถูกต้อง แต่เมื่อเปิดหน้าที่ระบุไว้ พบว่ามีเพียงส่วนท้ายของบทความหนึ่งและส่วนต้นของบทความถัดไป เมื่อถามแหล่งที่มา อาจารย์ตอบว่าได้ถาม ChatGPT อีกครั้งและได้รับคำตอบว่าเป็นบทความที่มีอยู่จริง ความแตกต่างระหว่างการถามซ้ำและการเปิดวารสารเพื่อตรวจสอบแสดงออกในสองสามหน้าเหล่านี้

ในกระทู้หนึ่ง ผู้โพสต์คนหนึ่งเล่าประสบการณ์ในการแสดงรายการผลงานของผู้เขียนให้ผู้ใช้ดูและตรวจสอบชื่อหนังสือร่วมกัน ชื่อที่ AI แนะนำดูเหมือนจะเป็นการรวมคำบางส่วนจากสองผลงานที่มีอยู่จริงของผู้เขียนและคำที่ผู้ใช้ใช้ในการค้นหา ผู้ใช้ที่ดูรายการผลงานร่วมกันเข้าใจและยอมรับ

แม้ว่าจะเป็นประสบการณ์ส่วนบุคคล แต่ก็มีภาระที่ไม่สามารถมองเห็นได้จากจำนวนการตรวจสอบ การสร้างชื่อหนังสือที่ดูน่าเชื่อถืออาจใช้เวลาเพียงชั่วครู่ แต่ผู้ที่ต้องอธิบายเหตุผลที่ไม่พบต้องตรวจสอบรายการผลงาน เปิดวารสารจริง และบางครั้งต้องเปิดหน้าร่วมกับผู้อื่น


หากเป็นเอกสารการประชุมในญี่ปุ่น ควรตรวจสอบประโยคใดก่อน

คำถามที่กุมารยกขึ้นเมื่ออภิปรายเกี่ยวกับนโยบายของแต่ละประเทศเกี่ยวกับ AI คือคำถามที่เป็นภาคปฏิบัติอย่างยิ่ง แม้ว่าจะมีการสร้างนโยบายความปลอดภัยและกำหนดผู้รับผิดชอบเมื่อเกิดปัญหา แต่ใครจะเป็นผู้เปิดเชิงอรรถในเอกสารที่แจกในวันนี้

ในที่ทำงานในญี่ปุ่น หากคิดว่า "ถ้าประโยคนี้ผิด ผลสรุปของการประชุมจะเปลี่ยนไปหรือไม่" จะเห็นลำดับการตรวจสอบได้ง่ายขึ้น หากเป็นข้อเสนอให้เร่งการลงทุนโดยอ้างอิง "70%" ในตอนต้น ผู้รับผิดชอบควรเปิดดูคำถามและตารางสรุปที่สร้างตัวเลขนั้นก่อนหน้าปกของรายงาน ตัวอย่างเช่น ตัวอย่างที่สามารถเขียนว่า "บริษัทในประเทศ" ได้หรือไม่ และ "นำไปใช้แล้ว" กับ "กำลังพิจารณา" เป็นตัวเลือกที่แยกกันหรือไม่ หากอ่านถึงขั้นนี้ จะสามารถตัดสินใจได้ว่าประโยคใดที่สามารถคงไว้ในเอกสาร

ในรายงานของโรงเรียนก็สามารถทำได้เช่นกัน ก่อนที่จะคัดลอกชื่อบทความในส่วนอ้างอิง ลองเขียนในช่องว่างว่า "อะไรในบทความที่สนับสนุนประโยคนี้ของฉัน" หากไม่พบส่วนที่เกี่ยวข้อง ควรจำกัดข้ออ้างให้แคบลงจนสามารถกล่าวได้ในต้นฉบับ หากการเปิดแหล่งที่มาแล้วทำให้บทความดูธรรมดาขึ้น การแก้ไขนั้นมีคุณค่าที่ได้รับการยืนยัน


แหล่งที่มา

  • On Line Opinion "Who checks the machine?" บทความที่อมาร์ติยา กุมารเขียน อ้างถึงการอ้างอิง 194 รายการที่แนบมากับเอกสารการวิจัย 30 รายการและปัญหาว่าใครจะเป็นผู้ตรวจสอบ
    http://www.onlineopinion.com.au/view.asp?article=24253

  • เอกสารที่เผยแพร่ใน Zenodo DOI ที่ผู้เขียนระบุว่าเป็นแหล่งเผยแพร่ผลการตัดสินแต่ละรายการ ค่ารวมข้างต้นอิงจากบทความที่เขียน
    https://doi.org/10.5281/zenodo.23731235

  • Scientific Reports "Fabrication and errors in the bibliographic citations generated by ChatGPT" การวิจัยที่เผยแพร่ในปี 2023 ที่ตรวจสอบการมีอยู่และความถูกต้องของข้อมูลบรรณานุกรมของเอกสารอ้างอิง 636 รายการที่สร้างโดย AI doi.org
    https://doi.org/10.1038/s41598-023-41032-5

  • Reddit "Requests for AI-hallucinated books?" โพสต์เกี่ยวกับประสบการณ์การตรวจสอบเอกสารในห้องสมุด เช่น หน้าที่ระบุครอบคลุมสองบทความ reddit.com
    https://www.reddit.com/r/Libraries/comments/1ldo8q3/

  • Reddit "AI hallucinating book titles that don't exist" ประสบการณ์การตรวจสอบรายชื่อผลงานของผู้เขียนร่วมกับผู้ใช้ และการติดตามที่มาของชื่อหนังสือที่ AI แนะนำ reddit.com
    https://www.reddit.com/r/Libraries/comments/1tjwzim/ai_hallucinating_book_titles_that_dont_exist/