"न्यायसंगत एल्गोरिदम" जब अन्याय को जन्म देते हैं - असमानता कोड के बाहर हो रही थी

"अगर एल्गोरिदम न्यायसंगत है, तो परिणाम भी न्यायसंगत होंगे।"

जैसे-जैसे एआई और स्वचालित निर्णय प्रणाली समाज में फैल रही हैं, हम कहीं न कहीं यही उम्मीद करते हैं। मानव की विषयवस्तु और पूर्वाग्रह को हटाकर, नियमों के आधार पर मशीनिक रूप से निर्णय लेने से, भर्ती, शिक्षा, नियुक्ति, पदोन्नति जैसे महत्वपूर्ण अवसर अधिक न्यायसंगत हो सकते हैं। कम से कम, यह मानव द्वारा मनमाने ढंग से निर्णय लेने की तुलना में अधिक पारदर्शी और कम पक्षपाती लगता है।

हालांकि, एक नई शोध इस धारणा पर ठंडा पानी डालती है।

भले ही मिलान प्रणाली स्वयं न्यायसंगत रूप से डिज़ाइन की गई हो, यदि उपयोगकर्ता उस प्रणाली को पर्याप्त रूप से नहीं समझते हैं, तो परिणामस्वरूप असमानता उत्पन्न हो सकती है। समस्या केवल एल्गोरिदम के भीतर नहीं है। बल्कि, यह एल्गोरिदम का उपयोग करने वाले मानव के पक्ष में है, और उस मानव के चारों ओर की सूचना पर्यावरण में है।

इस बार ध्यान केंद्रित किया जा रहा है, अमेरिका के मेडिकल छात्रों के लिए "रेजीडेंसी मैच" प्रणाली पर। स्नातक होने वाले मेडिकल छात्र और प्रशिक्षण कार्यक्रम दोनों अपनी प्राथमिकता सूची प्रस्तुत करते हैं, और एक कंप्यूटराइज्ड मिलान प्रणाली के माध्यम से संयोजन तय होता है। भविष्य के चिकित्सकों के लिए, कहां प्रशिक्षण प्राप्त करना है, यह उनके करियर को बड़े पैमाने पर प्रभावित करता है। यानी यह केवल एक करियर समायोजन नहीं है, बल्कि जीवन के एक मोड़ के समान है।

यह प्रणाली इस तरह से डिज़ाइन की गई है कि छात्रों के लिए अपने वास्तविक प्राथमिकता क्रम में कार्यक्रमों को सूचीबद्ध करना सबसे अच्छा होता है। दूसरे शब्दों में, "यह लोकप्रिय कार्यक्रम मुश्किल लग रहा है, इसलिए इसे नीचे रखें" या "सुरक्षित जगह को ऊपर रखें ताकि चयनित होने की संभावना बढ़े" जैसी रणनीति की आवश्यकता नहीं है। बल्कि, इस प्रकार की रणनीतिक प्राथमिकता में हेरफेर करने से, व्यक्ति के लिए वांछनीय परिणाम दूर हो सकते हैं।

प्रणाली का सिद्धांत बहुत ही तर्कसंगत है। ईमानदारी से अपनी प्राथमिकता दें। खेल खेलने की आवश्यकता नहीं है। तो यह सभी के लिए न्यायसंगत होना चाहिए।

हालांकि, वास्तविकता इतनी सरल नहीं थी।

शोधकर्ताओं ने 1,700 से अधिक मेडिकल छात्रों के लिए प्रोत्साहनयुक्त सिमुलेशन डेटा और 66 मेडिकल छात्रों के साथ विस्तृत साक्षात्कार का विश्लेषण किया, जिन्होंने वास्तव में रेजीडेंसी मैच का अनुभव किया। परिणामस्वरूप, यह पाया गया कि भले ही प्रणाली न्यायसंगत रूप से डिज़ाइन की गई हो, छात्रों की समझ और सूचना संग्रह व्यवहार में अंतर के कारण, अनुकूलतम नहीं माने जाने वाले विकल्प उत्पन्न हो सकते हैं।

उदाहरण के लिए, कुछ छात्र सोचते हैं, "वास्तव में मैं A अस्पताल जाना चाहता हूं, लेकिन A अस्पताल की प्रतिस्पर्धा अधिक लगती है, इसलिए B अस्पताल को ऊपर लिखना बेहतर होगा।" यह एक सतर्क निर्णय की तरह लगता है। हालांकि, इस प्रकार की मिलान प्रणाली में, अपनी वास्तविक प्राथमिकता क्रम को छुपाने से, व्यक्ति के लिए सबसे अच्छा परिणाम छूट सकता है।

अर्थात, प्रणाली "ईमानदारी से चुनने" को लाभकारी बनाती है, लेकिन यदि उपयोगकर्ता इसे नहीं समझते हैं, तो वे प्रणाली का सही उपयोग नहीं कर सकते। न्यायसंगत प्रणाली होने के बावजूद, वहां पहुंचने वाले लोगों की जानकारी और आत्मविश्वास में अंतर होने पर, परिणाम न्यायसंगत नहीं होंगे।

इस शोध में विशेष रूप से ध्यान दिया गया कि पुरुष और महिला छात्रों के बीच का अंतर। पुरुष मेडिकल छात्र, महिला छात्रों की तुलना में, प्रणाली के बारे में अतिरिक्त जानकारी स्वयं खोजने की प्रवृत्ति रखते थे। आधिकारिक वेबसाइट की जांच करना, वीडियो देखना, विभिन्न स्रोतों की तुलना करना, स्वतंत्र रूप से खोज करना। इस प्रकार के व्यवहार करने वाले छात्रों ने मिलान एल्गोरिदम की बेहतर समझ प्राप्त की और अनुकूल रणनीति अपनाने में सक्षम थे।

दूसरी ओर, मानक प्रणाली के विवरण और विश्वविद्यालय से प्राप्त सामान्य सलाह पर निर्भर रहने वाले छात्र, प्रणाली को गलत समझने की अधिक संभावना रखते थे। मेडिकल स्कूल की सलाह, "वास्तविक प्राथमिकता क्रम में सूचीबद्ध करें", "आंतरिक भावना का पालन करें", "अधिक न सोचें" जैसी होती थी। ये सलाह गलत नहीं हैं। बल्कि, प्रणाली के सिद्धांत के रूप में सही हैं।

लेकिन, सही सलाह और पर्याप्त सलाह में अंतर होता है।

"क्यों वास्तविक प्राथमिकता क्रम में सूचीबद्ध करना सबसे अच्छा है"
"क्या लोकप्रिय कार्यक्रम को ऊपर लिखने से नुकसान होगा"
"क्या सुरक्षित स्कूल की तरह की सोच इस प्रणाली में भी लागू होती है"
"क्रम बदलने से मेरी मिलान दर कैसे बदल जाएगी"

इन सवालों का जवाब नहीं दिया जा सकता, तो छात्र अनिश्चितता के आधार पर कार्य करेंगे। प्रणाली "बिना रणनीति के" डिज़ाइन की गई है, लेकिन यदि उपयोगकर्ता इसे नहीं मानते हैं, तो वे अंततः रणनीति अपनाएंगे।

यहां, एल्गोरिदम की न्यायसंगतता के बारे में एक बड़ा अंधा बिंदु है।

अब तक "न्यायसंगत एल्गोरिदम" की चर्चा में, मुख्य रूप से प्रणाली के भीतर की जांच की गई है। क्या यह विशेष गुणों के साथ भेदभाव कर रहा है? क्या इसने पूर्वाग्रहित डेटा का अध्ययन किया है? क्या निर्णय मानदंड अस्पष्ट हैं? क्या परिणाम में पक्षपात है? निस्संदेह, ये महत्वपूर्ण हैं।

हालांकि, इस शोध से पता चलता है कि एल्गोरिदम स्वयं पक्षपाती नहीं है, फिर भी असमानता उत्पन्न हो सकती है। भेदभावपूर्ण कोड के बिना भी, पक्षपाती परिणाम उत्पन्न हो सकते हैं। क्योंकि उपयोगकर्ता एक ही प्रारंभिक रेखा पर नहीं खड़े होते हैं।

कुछ लोगों के पास अतिरिक्त जानकारी खोजने का समय और आत्मविश्वास होता है। कुछ को प्रणाली को समझने के लिए समर्थन मिलता है। कुछ को वरिष्ठों या सलाहकारों से विशेष सलाह मिलती है। कुछ को प्रणाली के बारे में सवाल पूछने में संकोच होता है। कुछ को यह भी नहीं पता होता कि "यह स्वयं खोजने की बात है"।

यह अंतर केवल व्यक्तिगत अंतर नहीं है। यह लिंग, सामाजिक स्तर, स्कूल, पारिवारिक पृष्ठभूमि, सांस्कृतिक पृष्ठभूमि, और आसपास के नेटवर्क के माध्यम से भी आकार लेता है। एल्गोरिदम सभी को एक ही नियम लागू करने का इरादा रखता है, लेकिन यह मानव पक्ष में मौजूद सूचना असमानता या आत्मविश्वास असमानता को स्वचालित रूप से नहीं भरता।

बल्कि, प्रणाली जितनी जटिल होती है, उतना ही इसे समझने वाले लोग लाभान्वित होते हैं।

यह संरचना केवल मेडिकल छात्रों के प्रशिक्षण स्थल मिलान तक सीमित नहीं है। स्कूल प्रवेश, कंपनी भर्ती, आंतरिक नियुक्ति, पदोन्नति मूल्यांकन, मानव संसाधन बाजार, सार्वजनिक क्षेत्र की नौकरी आवंटन, छात्रवृत्ति चयन, आवास लॉटरी, डेकेयर प्रवेश, सेना की नियुक्ति आदि, हमारे समाज में मिलान और स्वचालित निर्णय बढ़ रहे हैं। वहां अक्सर कहा जाता है, "सिस्टम न्यायसंगत रूप से प्रक्रिया कर रहा है, इसलिए कोई चिंता नहीं।"

हालांकि, उपयोगकर्ता उस प्रणाली को कैसे समझते हैं, इसे आश्चर्यजनक रूप से नजरअंदाज किया जाता है।

उदाहरण के लिए, कंपनी की आंतरिक भर्ती प्रणाली पर विचार करें। कर्मचारी अपनी इच्छित विभागों को क्रम में रखते हैं, और प्रणाली उनकी उपयुक्तता और इच्छाओं के आधार पर नियुक्ति करती है। प्रणाली के अनुसार यह न्यायसंगत है, लेकिन यदि कोई कर्मचारी गलत समझता है कि "पहली पसंद में लोकप्रिय विभाग लिखने से नुकसान होगा", तो वे शुरू से ही अपनी इच्छाओं को कम कर सकते हैं। दूसरी ओर, जो कर्मचारी प्रणाली को अच्छी तरह समझते हैं, वे बिना संकोच अपनी वास्तविक इच्छाएं प्रस्तुत करते हैं। परिणामस्वरूप, एक ही नियम के तहत, जो लोग समझते हैं, वे अधिक लाभान्वित होते हैं।

विश्वविद्यालय प्रवेश या स्कूल चयन में भी यही हो सकता है। यदि माता-पिता या छात्र चयन प्रणाली को सही से नहीं समझते हैं, तो वे सुरक्षा उपाय के रूप में नुकसानदायक विकल्प चुन सकते हैं। जिन परिवारों के पास जानकारी होती है, वे प्रणाली का कुशलता से उपयोग करते हैं, और जिनके पास जानकारी नहीं होती, वे प्रणाली के इरादे को गलत समझते हैं। एल्गोरिदम की न्यायसंगतता परिवार की सूचना पूंजी के अंतर को उसी तरह प्रतिबिंबित कर देती है।

इस अर्थ में, न्यायसंगत प्रणाली केवल "पक्षपात रहित गणना करने वाली प्रणाली" नहीं हो सकती। यह एक ऐसी प्रणाली होनी चाहिए जिसे उपयोगकर्ता सही से समझ सकें, सुरक्षित रूप से उपयोग कर सकें, और जब आवश्यक हो तो समर्थन प्राप्त कर सकें।

शोधकर्ताओं ने व्यावहारिक उपायों के रूप में अधिक स्पष्ट व्याख्या, पुनरावृत्ति सीखने वाली सामग्री, सिमुलेशन, इंटरैक्टिव अभ्यास, और विभिन्न स्रोतों तक पहुंच को प्रोत्साहित करने का सुझाव दिया है। महत्वपूर्ण यह है कि "वास्तविक प्राथमिकता क्रम में लिखें" कहकर इसे समाप्त न करें, बल्कि "क्यों यह सबसे अच्छा है" को समझने में सक्षम बनाएं।

यह उपयोगकर्ता शिक्षा का मुद्दा है और साथ ही प्रणाली डिज़ाइन का मुद्दा भी है।

यदि उपयोगकर्ता गलतफहमी में हैं, तो यह केवल उपयोगकर्ता की जिम्मेदारी नहीं है। यदि व्याख्या अस्पष्ट है, प्रणाली की अंतर्दृष्टि को अनदेखा किया गया है, प्रश्न पूछने में कठिनाई है, और मानक सलाह बहुत सामान्य है, तो प्रणाली की कार्यान्वयन में समस्या है। यदि न्यायसंगतता को गंभीरता से लागू करना है, तो एल्गोरिदम के डिज़ाइन चरण के साथ-साथ उपयोगकर्ता के साथ संपर्क बिंदु को भी डिज़ाइन करना होगा।

सोशल मीडिया पर प्रतिक्रियाओं को देखते हुए, इस शोध पर ध्यान अभी भी सीमित है, लेकिन विशेषज्ञ समुदाय में यह ध्यान आकर्षित कर रहा है। लेख के एक लेखक द्वारा LinkedIn पर शोध सामग्री का परिचय देने वाली पोस्ट में, जाँच के समय 69 प्रतिक्रियाएं और 3 टिप्पणियाँ थीं, और टिप्पणी अनुभाग में शोध के लिए बधाई और "दिलचस्प लेख" जैसी सकारात्मक प्रतिक्रियाएं देखी गईं। यह एक बड़े पैमाने पर विवाद या सामान्य उपयोगकर्ताओं द्वारा व्यापक चर्चा के बजाय, वर्तमान में यह प्रबंधन, चिकित्सा शिक्षा, और एल्गोरिदम न्यायसंगतता में रुचि रखने वाले लोगों के बीच शांति से साझा किया जा रहा है।

दूसरी ओर, Phys.org के लेख पृष्ठ पर, जाँच के समय साझा करने की संख्या कम थी, और लगभग कोई टिप्पणी नहीं थी। यह शोध की महत्वता को कम नहीं करता, बल्कि यह विषय विशेष है, और सामान्य पाठकों के लिए इसे तुरंत अपने से जोड़ना कठिन है। हालांकि, इस शोध द्वारा दिखाए गए मुद्दे वास्तव में कई लोगों के जीवन से सीधे जुड़े हुए हैं।

क्योंकि हम पहले से ही "जो लोग प्रणाली को समझ सकते हैं वे अधिक लाभान्वित होते हैं" समाज में जी रहे हैं।

कर प्रणाली, छात्रवृत्ति, बीमा, गृह ऋण, पॉइंट प्रणाली, नौकरी खोज, नौकरी बदलने की साइटें, स्कूल चयन, प्रशासनिक प्रक्रियाएं। इनमें से प्रत्येक में, बाहरी रूप से नियम समान होते हैं, लेकिन समझ के आधार पर परिणाम बदलते हैं। जब इसमें एल्गोरिदम शामिल हो जाता है, तो समस्या और भी अदृश्य हो जाती है। मानव के मामले में, "व्याख्या की कमी" कहना आसान होता है, लेकिन सिस्टम के मामले में, "ऐसा ही होता है" मान लेना आसान होता है।

हालांकि, न्यायसंगतता का मतलब उपयोगकर्ता पर आत्मनिर्भरता थोपना नहीं है।

"जो लोग सही से नहीं खोजते हैं, वे गलत हैं"
"जो लोग प्रणाली को नहीं समझते हैं, वे गलत हैं"
"जो लोग स्वयं प्रश्न नहीं पूछते हैं, वे गलत हैं"

ऐसा कहकर छोड़ देना आसान है। लेकिन, जब प्रणाली सामाजिक रूप से महत्वपूर्ण होती है, तो उपयोगकर्ता की समझ को समर्थन देने की जिम्मेदारी संचालन पक्ष पर भी होती है। विशेष रूप से, जब वह प्रणाली जीवन के मार्ग, पेशा, आय, शिक्षा के अवसरों से संबंधित होती है, तो व्याख्या की कमी केवल असभ्यता नहीं है, बल्कि असमानता की जड़ बन सकती है।

इस शोध द्वारा उठाए गए सवाल एआई युग की प्रणाली डिज़ाइन के लिए बहुत महत्वपूर्ण हैं।

क्या केवल न्यायसंगत एल्गोरिदम बनाने से संतुष्ट होना चाहिए?
यदि उपयोगकर्ता प्रणाली को गलत समझते हुए नुकसानदायक विकल्प चुनते हैं, तो क्या यह वास्तव में न्यायसंगत है?
"सही जानकारी प्रकाशित की गई है" कहकर, क्या पर्याप्त व्याख्या जिम्मेदारी पूरी की गई है?
जब प्रणाली को समझने की क्षमता या आत्मविश्वास में अंतर होता है, तो कितना समर्थन दिया जाना चाहिए?

आने वाले समाज में, एल्गोरिदम की पारदर्शिता के साथ-साथ "समझने की क्षमता" अधिक महत्वपूर्ण होगी। पारदर्शी व्याख्या होने पर भी, अगर वह केवल विशेषज्ञों के लिए समझने योग्य है, तो उसका कोई अर्थ नहीं है। जब उपयोगकर्ता समझते हैं कि यह उनके निर्णय को कैसे प्रभावित करता है, तभी पारदर्शिता न्यायसंगतता से जुड़ती है।

न्यायसंगत प्रणाली बनाने के लिए, केवल कोड लिखने वाले लोगों की आवश्यकता नहीं है, बल्कि व्याख्या करने वाले, शिक्षा देने वाले, प्रणाली को संचालित करने वाले, और उपयोगकर्ता की चिंताओं को सुनने वाले लोगों की भी आवश्यकता होती है। एल्गोरिदम न्यायसंगतता केवल तकनीकी विभाग का काम नहीं है। यह संगठन की संपूर्ण संचार डिज़ाइन है, शिक्षा डिज़ाइन है, और विश्वास डिज़ाइन है।

मेडिकल छात्रों की रेजीडेंसी मैच केवल एक उदाहरण है। लेकिन, इससे मिलने वाली शिक्षा व्यापक है।

न्यायसंगत नियम, न्यायसंगत समझ के द्वारा समर्थित होकर ही न्यायसंगत रूप से कार्य करते हैं।
और असमानता हमेशा दुर्भावनापूर्ण भेदभाव से उत्पन्न नहीं होती।
भले ही एक प्रणाली अच्छे इरादों से डिज़ाइन की गई हो, अगर व्याख्या की कमी है, समर्थन असमान है, और उपयोगकर्ता की समझ में अंतर है, तो यह अन्यायपूर्ण परिणाम उत्पन्न कर सकती है।

जब एआई और एल्गोरिदम को समाज में लागू करने का समय आता है, तो "मशीन न्यायसंगत है" यह सरल विश्वास नहीं चाहिए। बल्कि, मशीन न्यायसंगत दिखती है, इसलिए उसके चारों ओर मानव की समझ, व्यवहार, और सूचना पर्यावरण को सावधानीपूर्वक देखना चाहिए।

न्यायसंगतता केवल एल्गोरिदम के भीतर नहीं होती।
यह उन लोगों के बीच होती है जो एल्गोरिदम का उपयोग करते हैं।

स्रोत URL

Phys.org द्वारा शोध परिचय लेख। "न्यायसंगत रूप से डिज़ाइन की गई मिलान प्रणाली भी, उपयोगकर्ता की समझ के अंतर के कारण असमान परिणाम उत्पन्न कर सकती है" इस शोध सामग्री की रिपोर्ट