जनरेटिव AI ट्यूटर का जाल: 15% त्रुटि पहचान दर से संकेतित "शैक्षिक स्तर में गिरावट" की वास्तविकता

"AI शिक्षक" पर कितना भरोसा किया जा सकता है?

―― जनरेटिव AI चैटबॉट शिक्षा के "वादा" और "खतरों" के बीच

विश्वविद्यालयों और कॉर्पोरेट प्रशिक्षणों में, "समझ में नहीं आने वाली चीज़ों के लिए पहले ChatGPT से पूछें" एक आम दिनचर्या बन गई है।
ऐसे में, "AI ट्यूटर" को गंभीरता से कक्षाओं में शामिल करने की कोशिशें दुनिया भर में तेज हो रही हैं।

हालांकि, Stevens प्रौद्योगिकी संस्थान की टीम द्वारा किए गए नवीनतम शोध ने इस सपने जैसे "AI शिक्षक" के सामने एक कठोर वास्तविकता पेश की है।

"शिक्षार्थी औसतन केवल 15% गलत उत्तरों को सही ढंग से पहचान पाए"── और इन गलतियों के कारण, परीक्षण की सही उत्तर दर में काफी गिरावट आई।फिज़.org

शोध का संक्षिप्त सारांश:

"जानबूझकर गलतियां करने वाला AI शिक्षक" और 177 शिक्षार्थी

शोध टीम ने, शुरुआती छात्रों के लिए सांख्यिकी सिखाने वाला चैटबॉट तैयार किया और एक वास्तविक ऑनलाइन लर्निंग प्लेटफॉर्म जैसा वातावरण तैयार किया।फिज़.org

• लक्ष्य समूह: विश्वविद्यालय के छात्र और वयस्क शिक्षार्थी, कुल 177 लोग

• अध्ययन सामग्री: सांख्यिकी की मूल बातें

• पर्यावरण:

  • चैटबॉट से स्वतंत्र रूप से प्रश्न पूछने की अनुमति

  • ऑनलाइन पाठ्यपुस्तकें और सर्च इंजन का भी उपयोग संभव (="ओपन बुक" स्थिति)

  • बॉट के उत्तर के नीचे "समस्या रिपोर्ट बटन" स्थापित किया गया, गलतियों को ढूंढकर रिपोर्ट करने पर छोटे पुरस्कार

हालांकि, इस बॉट में **शोध टीम द्वारा पहले से डाली गई "जानबूझकर गलत उत्तर"** शामिल थे।
उदाहरण के लिए, सांख्यिकी की परिभाषा को थोड़ा गलत समझाना या गणना के परिणाम को जानबूझकर बदलना ── अध्ययन सामग्री से संबंधित, लेकिन निश्चित रूप से गलत जानकारी।फिज़.org

प्रतिभागियों की भूमिका सरल थी।

"AI शिक्षक का उपयोग करते हुए समस्याओं को हल करना, और यदि उत्तर में कोई गलती दिखे तो रिपोर्ट करना"

इन सभी शर्तों के बावजूद, परिणाम काफी कठोर थे।

चौंकाने वाले आंकड़े:

गलती पहचान दर 15%, अध्ययन प्रदर्शन आधे से भी कम

1. गलतियों को पहचानने की संभावना केवल लगभग 15%

"कुछ अजीब लग रहा है?" सोचते ही रिपोर्ट करें और पैसे पाएं।
पाठ्यपुस्तकें और सर्च इंजन स्वतंत्र रूप से उपयोग कर सकते हैं।
फिर भीशिक्षार्थी चैटबॉट के गलत उत्तरों को सही ढंग से रिपोर्ट कर पाए, औसतन केवल 15% तक सीमित रहे।

अर्थात,10 में से 8-9 बार उन्होंने इसे वैसे ही मान लिया।

2. प्रदर्शन पर प्रभाव "गंभीर" स्तर का

और भी गंभीर बात यह है कि,अध्ययन परिणामों पर इसका प्रभाव है।

• गलत उत्तरों का सामना करने वाला समूह
  → अभ्यास प्रश्नों की सही उत्तर दर:25-30%

• गलतियों के बिना बॉट का उपयोग करने वाला समूह (नियंत्रण)
  → वही प्रश्नों की सही उत्तर दर:60-66%

लगभगपरीक्षा के अंक "आधे" हो गए स्तर का अंतर उत्पन्न हुआ।

"अगर यह थोड़ा गलत है, तो कुल मिलाकर यह उपयोगी होगा, है ना?"
── इस प्रयोग के परिणामों को देखते हुए, यह आशावादी उम्मीद काफी खतरनाक लगती है।

कौन अधिक "संवेदनशील शिक्षार्थी" हैं

शोध टीम ने यह भी विश्लेषण किया किकौन से शिक्षार्थी चैटबॉट की गलतियों के प्रति अधिक संवेदनशील हैं।

विशेष रूप से प्रभावित थे:

• विषय के पूर्व ज्ञान की कमी वाले लोग

• चैटबॉट के उपयोग का कम अनुभव रखने वाले लोग

• गैर-देशी अंग्रेजी वक्ता

• महिला प्रतिभागी (प्रदर्शन में गिरावट की प्रवृत्ति अपेक्षाकृत अधिक)

इसके अलावा, "बॉट पर कितना भरोसा किया जाता है" भी महत्वपूर्ण था।
चैटबॉट पर कम भरोसा करने वाले प्रतिभागी गलतियों को सही ढंग से रिपोर्ट करने की अधिक संभावना रखते थे।

दूसरे शब्दों में,

"AI मुझसे ज्यादा समझदार होना चाहिए"
"यह इतनी धाराप्रवाह व्याख्या कर रहा है, तो यह सही होना चाहिए"

जितना अधिक लोग ऐसा सोचते हैं,उतनी ही अधिक संभावना है कि वे गलतियों को नजरअंदाज कर देंगे, यह एक विडंबनापूर्ण स्थिति है।

सोशल मीडिया पर इसे कैसे लिया जा रहा है

यह लेख अभी हाल ही में प्रकाशित हुआ है, और Phys.org और Stevens प्रौद्योगिकी संस्थान की आधिकारिक घोषणाएं X (पूर्व में Twitter) और Facebook पर साझा की जा रही हैं।Facebook

"AI और शिक्षा" से संबंधित इसी तरह के शोध और समाचारों पर अब तक की ऑनलाइन चर्चाओं को ध्यान में रखते हुए, इस परिणाम पर प्रतिक्रियाएं मुख्य रूप से तीन प्रकार की हैं।dsgains.pitt.edu

1. शिक्षा क्षेत्र से "यही तो हमने कहा था" पक्ष

शिक्षकों और शिक्षा शोधकर्ताओं के बीच,

• "इसलिए 'AI पर आधारित शिक्षा' खतरनाक है, यह हम पहले से कह रहे थे"

• "गलत उत्तर पहचान दर 15% है, जो कि व्यावहारिक अनुभव से मेल खाता है"

• "AI साक्षरता शिक्षा पहले नहीं की गई तो, मुख्य सेवा को लागू करना उल्टा असर करेगा"

जैसी टिप्पणियां प्रमुख हैं।
जो शिक्षक पहले से ChatGPT का उपयोग कर रहे हैं, वे "छात्रों के उत्तरों में AI की गलतियां ज्यों की त्यों देख रहे हैं" के अनुभव के कारण, इस शोध को "मात्रात्मक समर्थन" के रूप में देख रहे हैं।

2. AI समर्थकों का "इसलिए उपयोग का तरीका महत्वपूर्ण है" पक्ष

दूसरी ओर, AI के उपयोग के प्रति सकारात्मक इंजीनियरों और EdTech समुदाय से,

• "किसी भी उपकरण में त्रुटियां होती हैं। महत्वपूर्ण यह है कि 'त्रुटि-आधारित डिज़ाइन' हो"

• "मानव व्याख्यान में भी गलतियां होती हैं। केवल AI को दोष देना अनुचित है"

जैसी आवाजें भी सुनाई देती हैं।

इस दृष्टिकोण के लोग, **"प्रतिबंधित करें या पूरी तरह से लागू करें" के बजाय, "किस स्थिति में, कैसे सीमित उपयोग करें"** के डिज़ाइन पर चर्चा में रुचि रखते हैं।

3. शिक्षार्थियों की वास्तविकता: "कितना भरोसा किया जा सकता है?"

छात्रों और वयस्क शिक्षार्थियों की ओर से,

• "आखिरकार, AI पर कितना भरोसा किया जा सकता है, कोई मानक बताएं"

• "गूगल करने से तेज है, इसलिए कुछ जोखिम होते हुए भी इसे उपयोग करते हैं"

जैसी "डगमगाती वास्तविकता" झलकती है।
विशेष रूप से, जो लोग AI का उपयोग "अपनी समझ की पुष्टि" के लिए करते हैं, उनके लिए
AI की गलतियों को पहचानना मुश्किल होता है, यह परिणाम काफी चिंता का विषय है।

क्या इतना मुश्किल है:

"जांचने की क्षमता" और "AI की बात करने की कला"

इस शोध और संबंधित लेखों को पढ़ने पर, समस्या की जड़ को दो बड़े हिस्सों में विभाजित किया जा सकता है।sundaram.cs.illinois.edu

1. शुरुआती छात्रों के लिए "सत्यापन" स्वयं कठिन है

• जब विषय का ज्ञान लगभग शून्य होता है

• और, विशेष सामग्री के बारे में

• धाराप्रवाह व्याख्या करने वाले AI के उत्तर

को "सही है या नहीं" निर्णय लेना, स्वयं एक कठिन कार्य है।

अधिकांश प्रतिभागी,

• "मेरे ज्ञान के साथ विरोधाभास नहीं करता, इसलिए ठीक है"

• "सही सूत्र और तकनीकी शब्द हैं, इसलिए यह सही होना चाहिए"

जैसी **"अनुमानित भावना" के आधार** पर निर्णय ले रहे थे।

हालांकि शुरुआती छात्रों का "उनका ज्ञान" स्वयं अस्पष्ट होता है।
परिणामस्वरूप,गलत व्याख्या को आसानी से