กับดักของผู้สอน AI ในครอบครัว: อัตราการตรวจจับข้อผิดพลาด 15% แสดงถึงความเป็นจริงของ "การลดลงของความสามารถในการเรียนรู้"

"ครู AI" เชื่อถือได้แค่ไหน?

――คำสัญญาและหลุมพรางของการศึกษาแชทบอท AI ที่สร้างขึ้น

ทั้งในมหาวิทยาลัยและการฝึกอบรมในบริษัท การถาม ChatGPT เมื่อไม่เข้าใจอะไรบางอย่างได้กลายเป็นเรื่องปกติในชีวิตประจำวันแล้ว
ในขณะเดียวกัน การรวม "ครูสอนพิเศษ AI" เข้ากับการเรียนการสอนอย่างจริงจังได้เร่งตัวขึ้นทั่วโลก

อย่างไรก็ตาม การวิจัยล่าสุดโดยทีมจาก Stevens Institute of Technology ได้เผยให้เห็นความเป็นจริงที่ค่อนข้างเข้มงวดต่อ "ครู AI" ที่เหมือนฝันนี้

"ผู้เรียนสามารถตรวจจับคำตอบที่ผิดของแชทบอทได้เพียงประมาณ 15% โดยเฉลี่ย"และยังพบว่าความผิดพลาดเหล่านั้นทำให้คะแนนการทดสอบลดลงอย่างมากฟิซิกส์.org

สรุปโดยย่อของการวิจัย:

"ครู AI ที่จงใจทำผิด" และผู้เรียน 177 คน

ทีมวิจัยได้สร้างแชทบอทที่สอนสถิติสำหรับผู้เริ่มต้นและจำลองสภาพแวดล้อมที่เหมือนกับแพลตฟอร์มการเรียนรู้ออนไลน์ที่มีอยู่จริงฟิซิกส์.org

• กลุ่มเป้าหมาย: นักศึกษาและผู้เรียนผู้ใหญ่ รวมทั้งหมด 177 คน

• เนื้อหาการเรียนรู้: พื้นฐานของสถิติ

• สภาพแวดล้อม:

  • สามารถถามแชทบอทได้อย่างอิสระ

  • สามารถใช้ตำราออนไลน์หรือเครื่องมือค้นหาได้พร้อมกัน (＝สถานะ "เปิดหนังสือ")

  • มีปุ่มรายงานปัญหาใต้คำตอบของบอท และจะได้รับรางวัลเล็กน้อยหากพบข้อผิดพลาดและรายงาน

อย่างไรก็ตาม บอทนี้มี**คำตอบที่จงใจทำผิดที่ทีมวิจัยได้ตั้งใจใส่ไว้ล่วงหน้า**
เช่น การเข้าใจผิดเล็กน้อยในนิยามของสถิติ หรือการเบี่ยงเบนผลการคำนวณ ซึ่งเป็นข้อมูลที่ผิดแน่นอนแต่เกี่ยวข้องกับเนื้อหาการเรียนรู้ฟิซิกส์.org

บทบาทของผู้เข้าร่วมเป็นเรื่องง่าย

"ใช้ครู AI ในการแก้ปัญหา และรายงานหากพบจุดที่ผิดปกติในคำตอบ"

แม้จะมีเงื่อนไขเหล่านี้ครบถ้วน แต่ผลลัพธ์ก็ยังค่อนข้างรุนแรง

ตัวเลขที่น่าตกใจ:

อัตราการตรวจจับข้อผิดพลาด 15% และผลการเรียนต่ำกว่าครึ่ง

1. โอกาสที่จะสังเกตเห็นข้อผิดพลาดมีเพียงประมาณ 15% เท่านั้น

ถ้าคิดว่า "มีอะไรแปลก ๆ" แล้วรายงานก็จะได้เงิน
สามารถใช้ตำราและเครื่องมือค้นหาได้อย่างอิสระ
แต่ถึงอย่างนั้นผู้เรียนสามารถรายงานคำตอบที่ผิดของแชทบอทได้ถูกต้องเพียงประมาณ 15% โดยเฉลี่ยเท่านั้น

กล่าวคือจาก 10 ครั้ง เชื่อไปเลย 8-9 ครั้งตามการคำนวณ

2. ผลกระทบต่อผลการเรียนอยู่ในระดับ "รุนแรง"

ที่น่ากังวลยิ่งกว่าคือผลกระทบต่อผลการเรียนรู้เอง

• กลุ่มที่พบคำตอบผิด
  → อัตราความถูกต้องของแบบฝึกหัด:25-30%

• กลุ่มที่ใช้บอทที่ไม่มีข้อผิดพลาด (กลุ่มควบคุม)
  → อัตราความถูกต้องของปัญหาเดียวกัน:60-66%

คะแนนการทดสอบแทบจะ"ลดลงครึ่งหนึ่ง"ความแตกต่างในระดับนี้

"ถ้าผิดแค่เล็กน้อย โดยรวมก็ยังมีประโยชน์ใช่ไหม?"
ความคาดหวังที่มองโลกในแง่ดีเช่นนี้ดูเหมือนจะค่อนข้างเสี่ยงเมื่อพิจารณาจากผลการทดลองนี้

ใครคือ "ผู้เรียนที่อ่อนไหว" มากกว่า?

ทีมวิจัยยังได้วิเคราะห์ผู้เรียนประเภทใดที่อ่อนแอต่อข้อผิดพลาดของแชทบอทด้วย

ผู้ที่ได้รับผลกระทบมากที่สุดคือ:

• ผู้ที่มีความรู้พื้นฐานในสาขาน้อย

• ผู้ที่มีประสบการณ์การใช้แชทบอทน้อย

• ผู้ที่ไม่ใช่เจ้าของภาษาอังกฤษ

• ผู้เข้าร่วมที่เป็นผู้หญิง (มีแนวโน้มที่จะมีคะแนนลดลงมากกว่า)

นอกจากนี้ "ความเชื่อมั่นในบอท" ก็มีความสำคัญเช่นกัน
ผู้เข้าร่วมที่ไม่เชื่อมั่นในแชทบอทมากนักมีโอกาสรายงานข้อผิดพลาดได้ถูกต้องมากกว่า

ในทางกลับกัน

"AI น่าจะฉลาดกว่าตัวเอง"
"อธิบายได้คล่องแคล่วขนาดนี้ ต้องถูกต้องแน่ๆ"

ยิ่งคิดแบบนี้มากเท่าไหร่ก็ยิ่งมองข้ามข้อผิดพลาดได้ง่ายขึ้นซึ่งเป็นโครงสร้างที่น่าขัน

การรับรู้บนโซเชียลมีเดีย

บทความนี้เพิ่งเผยแพร่ไม่นาน และการเผยแพร่จาก Phys.org และ Stevens Institute of Technology ได้เริ่มแชร์บน X (เดิมคือ Twitter) และ FacebookFacebook

เมื่อพิจารณาจากการอภิปรายออนไลน์เกี่ยวกับการวิจัยและข่าวสารเกี่ยวกับ "AI และการศึกษา" ที่คล้ายกันก่อนหน้านี้ ปฏิกิริยาต่อผลลัพธ์ในครั้งนี้แบ่งออกเป็น 3 รูปแบบหลักdsgains.pitt.edu

1. ฝ่าย "ก็ว่าแล้ว" จากวงการการศึกษา

ในหมู่ครูและนักวิจัยด้านการศึกษา

• "นี่แหละที่บอกว่า 'การสอนที่พึ่งพา AI' นั้นอันตราย"

• "อัตราการตรวจจับข้อผิดพลาด 15% เป็นสิ่งที่เข้าใจได้จากความรู้สึกในสถานการณ์จริง"

• "ถ้าไม่สอนความรู้เกี่ยวกับ AI ก่อน การใช้บริการหลักจะส่งผลตรงกันข้าม"

ความคิดเห็นในโทนนี้มีให้เห็นมากมาย
ครูที่ใช้ ChatGPT ในการสนับสนุนงานมอบหมายอยู่แล้วมักมีประสบการณ์ที่ "ข้อผิดพลาดของ AI ปรากฏในคำตอบของนักเรียน" ทำให้การวิจัยนี้เป็น "หลักฐานเชิงปริมาณ"

2. ฝ่ายสนับสนุน AI ที่ว่า "เพราะฉะนั้นการใช้งานอย่างถูกต้องจึงสำคัญ"

ในขณะเดียวกัน จากวิศวกรและวงการ EdTech ที่มีทัศนคติเชิงบวกต่อการใช้ AI

• "ทุกเครื่องมือมีความคลาดเคลื่อน สิ่งสำคัญคือ 'การออกแบบที่คำนึงถึงความคลาดเคลื่อน'"

• "แม้แต่การบรรยายของมนุษย์ก็มีข้อผิดพลาด การโจมตี AI เพียงอย่างเดียวไม่ยุติธรรม"

ความคิดเห็นในลักษณะนี้ก็มีให้เห็น

ผู้ที่อยู่ในตำแหน่งนี้สนใจการอภิปรายเกี่ยวกับการออกแบบว่า **"จะใช้ในสถานการณ์ใดและจำกัดอย่างไร"** มากกว่า "จะห้ามหรือใช้ทั้งหมด"

3. ความรู้สึกจริงของผู้เรียน: "เชื่อได้แค่ไหน?"

จากนักเรียนและผู้เรียนผู้ใหญ่

• "สุดท้ายแล้ว ควรเชื่อ AI แค่ไหน ใครช่วยกำหนดมาตรฐานให้หน่อย"

• "เร็วกว่า Google ถึงจะมีความเสี่ยงบ้างก็ยังใช้"

ความรู้สึกที่ "สั่นคลอน" นี้สามารถเห็นได้ชัดเจน
โดยเฉพาะอย่างยิ่งสำหรับผู้ที่ใช้ AI เพื่อ "ยืนยันว่าตนเข้าใจถูกต้องหรือไม่"
ผลลัพธ์ที่ว่า AI เองก็อาจทำผิดพลาดได้และยากที่จะสังเกตเห็นเป็นสิ่งที่ทำให้เกิดความกังวลอย่างมาก

อะไรที่ทำให้มันยากขนาดนั้น:

"ทักษะการตรวจสอบ" และ "ศิลปะการพูดของ AI"

เมื่ออ่านงานวิจัยนี้และบทความที่เกี่ยวข้อง ปัญหาหลักสามารถจัดเป็นสองส่วนใหญ่ๆsundaram.cs.illinois.edu

1. สำหรับผู้เริ่มต้น "การตรวจสอบ" เองก็ยาก

• ในสภาพที่มีความรู้ในสาขาเกือบเป็นศูนย์

• และเนื้อหาที่เป็นวิชาการ

• คำตอบของ AI ที่อธิบายได้อย่างคล่องแคล่ว

  ##HTML_TAG_375