"AI मानवता को बचाने से पहले नियंत्रण खो देगा" विकास क्षेत्र से उभरी "गति कम करने की थ्योरी"

सेवानिवृत्ति की पोस्ट ने कंपनी के भीतर की चिंता को बाहर ला दिया

कृत्रिम बुद्धिमत्ता के भविष्य को लेकर चर्चा लंबे समय से दो कहानियों में बंटी हुई है। एक ओर, बीमारी के इलाज, वैज्ञानिक अनुसंधान में तेजी और उत्पादकता में जबरदस्त वृद्धि का वादा है। दूसरी ओर, यह डर है कि मनुष्य ऐसी प्रणालियाँ बना सकते हैं जिन्हें वे न समझ सकते हैं और न नियंत्रित कर सकते हैं।

2026 के सितंबर में, यह टकराव एक अमूर्त भविष्यवाणी नहीं रहा, बल्कि AI विकास के केंद्र में स्थित एक शोधकर्ता की सेवानिवृत्ति के रूप में एक ठोस घटना के रूप में प्रकट हुआ।

Anthropic के शोधकर्ता जैकब कॉक्सन ने X पर घोषणा की कि वह कंपनी छोड़ रहे हैं। वह हाल तक Anthropic में थे और उससे पहले OpenAI में आधारभूत मॉडल के पूर्व-प्रशिक्षण में शामिल थे। इसका मतलब है कि वह उद्योग की आलोचना करने वाले बाहरी व्यक्ति नहीं थे। वह अग्रणी मॉडल के निर्माण की प्रक्रिया को अंदर से देखने वाले व्यक्ति थे।

कॉक्सन का दावा स्पष्ट और साथ ही चौंकाने वाला था। उन्होंने कहा कि OpenAI और Anthropic जिम्मेदार व्यवहार नहीं कर रहे हैं, और आत्म-सुधार करने वाली सुपरइंटेलिजेंस की दिशा में होड़ मानवता की सुरक्षा को खतरे में डाल रही है। उन्होंने यह भी खुलासा किया कि AI बनाने वाले कुछ लोग गंभीरता से मानते हैं कि 2020 के दशक के अंत तक AI मानवता को नष्ट कर सकता है।

इस पोस्ट ने जो बड़ी हलचल मचाई, वह केवल इसके अभिव्यक्ति की ताकत के कारण नहीं थी। न्यूयॉर्क टाइम्स की रिपोर्ट के अनुसार, Anthropic के भीतर इसे "वह बात जो हर कोई कह रहा था, अब सार्वजनिक हो गई है" के रूप में लिया गया। OpenAI, Meta, Google सहित अन्य कंपनियों के शोधकर्ताओं ने भी इस पोस्ट पर चर्चा की और विकास को धीमा करने और सुरक्षा उपायों की मांग को मजबूत किया।

एक व्यक्ति की सेवानिवृत्ति की घोषणा ने कई कंपनियों के शोधकर्ताओं की चिंताओं के लिए एक "साझा भाषा" बना दी।

वर्तमान शोधकर्ताओं का समर्थन ने आरोप की गंभीरता को बदल दिया

चिंता व्यक्त करने वाले केवल सेवानिवृत्त लोग नहीं थे। Anthropic में संरेखण अनुसंधान का नेतृत्व करने वाले इवान ह्यूबिंगर ने X पर पोस्ट किया कि वह मानते हैं कि अगले 10 वर्षों में AI के कारण मानवता के समाप्त होने की संभावना 10% से अधिक है। उन्होंने यह भी कहा कि कंपनी प्रयास कर रही है, लेकिन सुपरइंटेलिजेंस को सुरक्षित रूप से मानव उद्देश्यों के साथ संरेखित करने की कोई स्थापित योजना नहीं है।

Anthropic में AGI सुरक्षा पर काम करने वाली अन्ना वांग ने कहा कि आत्म-सुधार करने वाले AI के जोखिम को हल करने की कोई वैज्ञानिक योजना वर्तमान में मौजूद नहीं है। एक अन्य कर्मचारी, ड्रेक थॉमस ने भी कहा कि प्रगति बहुत तेजी से हो रही है और यह कृत्रिम सुपरइंटेलिजेंस की आवश्यकता के विश्वास से बहुत दूर है। सुरक्षा शोधकर्ता सैमुअल मार्क्स ने पोस्ट किया कि गंभीर परिणामों की चिंता करने वाले कर्मचारी वास्तव में मौजूद हैं, और आमतौर पर अनुभवी कर्मचारी अधिक चिंतित हैं।

बेशक, ये AI के कारण मानवता के समाप्त होने की संभावना को वैज्ञानिक रूप से निश्चित करने के सबूत नहीं हैं। संभावना की गणना और धारणाओं में बड़ी अनिश्चितता है। लेकिन महत्वपूर्ण यह है कि संख्याओं से अधिक, अग्रणी कंपनियों के सुरक्षा अधिकारियों ने "हमारे पास समाधान है" नहीं कहा, बल्कि क्षमता वृद्धि और सुरक्षा अनुसंधान की गति के अंतर को सार्वजनिक रूप से स्वीकार किया।

यदि विमान निर्माता के इंजीनियर ने कहा कि "हम दुर्घटना की संभावना को सटीक रूप से गणना नहीं कर सकते, लेकिन नियंत्रण प्रणाली की जांच विमान के प्रदर्शन में सुधार के साथ नहीं हो रही है," तो समाज केवल संभाव्यता के आधार पर चर्चा को समाप्त नहीं करेगा। AI के बारे में इस बार की चेतावनी को भी इसी संरचना में पढ़ने की आवश्यकता है।

"अंतिमता सिद्धांत" के प्रति प्रतिक्रिया—साक्ष्य, राजनीति, और विनियमन से उत्पन्न विशेषाधिकार

सोशल मीडिया पर प्रतिक्रिया एकरूप नहीं थी। AI शोधकर्ता नाथन लैम्बर्ट ने कॉक्सन के दावे की आलोचना की कि यह पर्याप्त साक्ष्य पर आधारित नहीं है और अनावश्यक घबराहट पैदा कर रहा है। निकट भविष्य में मानवता के समाप्त होने जैसे चरम परिदृश्य के बजाय, वर्तमान मॉडल द्वारा उत्पन्न गलत जानकारी, रोजगार में बदलाव, धोखाधड़ी, साइबर हमले जैसी देखी जा सकने वाली समस्याओं को प्राथमिकता दी जानी चाहिए।

राजनीतिक संदेह भी फैल गया। एलन मस्क ने शुरुआत में लगातार चेतावनियों को "प्रस्तावना" के रूप में व्यक्त किया और AI विनियमन को मजबूत करने की इच्छा रखने वाले गुटों द्वारा जनमत निर्माण के रूप में प्रतिक्रिया दी। कुछ रूढ़िवादी विचारकों और निवेशकों ने भी चेतावनी दी कि संकट का जोर अमेरिकी कंपनियों को विनियमित करेगा और चीन को नेतृत्व सौंप देगा।

इसके अलावा, धीमी गति का प्रस्ताव करने वाली कंपनियों को प्रतिस्पर्धात्मक लाभ प्राप्त करने का आरोप भी है। Cohere के CEO एडन गोमेज़ ने फ्रंटियर कंपनियों द्वारा एक-दूसरे की सुरक्षा का मूल्यांकन करने और मानकों को पूरा न करने वाली कंपनियों को रोकने की प्रणाली को "कार्टेल" के रूप में व्यंग्य किया। विशाल कंपनियाँ सुरक्षा के नाम पर प्रवेश बाधाओं को बढ़ा सकती हैं और अपने पक्ष में नियम बना सकती हैं, इसे नजरअंदाज नहीं किया जा सकता।

इस आलोचना में यथार्थवादी बिंदु शामिल हैं। भले ही सुरक्षा मानकों की आवश्यकता हो, यदि उनके डिजाइनर और निरीक्षण के अधीन कंपनियाँ वही हों, तो यह सार्वजनिक निगरानी के बजाय उद्योग की आत्मरक्षा बन सकती है। इसके विपरीत, यदि कोई विनियमन नहीं है, तो विफलता की लागत समाज को उठानी होगी। मुद्दा "विनियमन या स्वतंत्रता" नहीं है, बल्कि यह है कि कौन पारदर्शी प्रक्रियाओं के साथ मानकों को बनाता है और कौन निरीक्षकों की निगरानी करता है।

गंभीर चेतावनी के मीम बनने का कारण

X पर, कॉक्सन की सेवानिवृत्ति पत्र की संरचना की नकल करते हुए, बीच में मजाक में बदलने वाले पोस्ट भी बड़ी संख्या में दिखाई दिए। काल्पनिक कंपनियाँ "स्वतः खींची गई नकली सुरंग" की ओर दौड़ रही हैं, कंपनियाँ पॉप गानों के बोल के अनुसार काम कर रही हैं, अकाउंटिंग सॉफ्टवेयर अत्यधिक दक्षता ला रहा है, जैसी पैरोडीज थीं।

यह केवल असंवेदनशीलता नहीं है। सोशल मीडिया पर, जितनी कठिन और डरावनी दावे होते हैं, उन्हें उतनी ही अधिक फॉर्मेटेड टेक्स्ट या हास्य में बदला जाता है। मानवता के समाप्त होने का अत्यधिक बड़ा जोखिम व्यक्तिगत रूप से सत्यापित नहीं किया जा सकता और यह दैनिक जीवन की समझ से नहीं जुड़ता। मीम बनाना चेतावनी को नजरअंदाज करने का कार्य है, लेकिन यह डर और सूचना की अधिकता को संभालने की सामाजिक प्रतिक्रिया भी है।

हालांकि, हंसी के माध्यम से चर्चा का प्रवेश द्वार चौड़ा हो सकता है, लेकिन मुद्दे गायब नहीं होते। बल्कि, आरोप पत्र तकनीकी दुनिया से बाहर निकलकर आम जनता तक पहुंच गया है, जिससे राजनेताओं और मशहूर हस्तियों तक की प्रतिक्रिया का स्तर बढ़ गया है।

राजनीतिक प्रतिक्रिया और जनता की अविश्वास

कॉक्सन की पोस्ट के बाद, अमेरिका में पार्टी लाइनों को पार करते हुए प्रतिक्रिया फैली। रिपब्लिकन टेड क्रूज़ सीनेटर ने चेतावनी को गंभीरता से लिया और अनियंत्रित AI को विनाशकारी जोखिम के रूप में माना। दूसरी ओर, स्वतंत्र और प्रगतिशील बर्नी सैंडर्स सीनेटर भी स्पष्ट सुरक्षा मानकों के तैयार होने तक उन्नत AI विकास को अस्थायी रूप से रोकने और कृत्रिम सुपरइंटेलिजेंस को प्रतिबंधित करने की योजना को आगे बढ़ा रहे हैं। डेमोक्रेटिक टेड लियू और लॉरी ट्रैहन प्रतिनिधि ने आपातकालीन रोकथाम और तीसरे पक्ष के ऑडिट को शामिल करने वाले कानून को तेजी से लागू करने की वकालत की।

संगीतकार शेरिल क्रो ने इंस्टाग्राम पर चेतावनी को उठाया और नेताओं से कार्रवाई की मांग की। मैगी रोजर्स ने भी उस पोस्ट को साझा किया। AI सुरक्षा विशेषज्ञों के लिए एक नीति मुद्दे से लेकर जन संस्कृति को शामिल करने वाली सामाजिक समस्या में स्थानांतरित हो गई है।

जनता में, कंपनियों की आत्म-नियमन के प्रति मजबूत अविश्वास भी है। AI पॉलिसी इंस्टीट्यूट द्वारा प्रकाशित सर्वेक्षण में, 82% उत्तरदाताओं ने AI विकास को तेज करने के बजाय धीमा करने का समर्थन किया, और 82% ने AI कंपनियों के प्रबंधकों द्वारा आत्म-नियमन पर भरोसा नहीं किया। सर्वेक्षण के विषय और प्रश्नों के प्रभाव को ध्यान में रखना चाहिए, लेकिन "लाभ की उम्मीद है, लेकिन गति का निर्णय केवल कंपनियों पर नहीं छोड़ा जाना चाहिए" की भावना फैल रही है।

अमोदेई CEO ने "रोकथाम नहीं, गति नियंत्रण" का प्रस्ताव दिया

बहस तब बड़े पैमाने पर बदल गई जब Anthropic के CEO डारियो अमोदेई ने "फ्रंटियर की गति को नियंत्रित करने" का प्रस्ताव दिया। यह AI अनुसंधान को पूरी तरह से रोकने की योजना नहीं है। यह मॉडल की क्षमता वृद्धि को इस गति तक सीमित करने का विचार है कि सुरक्षा मूल्यांकन, व्याख्या, संचालन प्रबंधन, और सामाजिक सहमति निर्माण इसे पकड़ सके।

अमोदेई ने दो चिंताओं को उठाया। पहली यह है कि AI अगली पीढ़ी के AI के अनुसंधान और विकास में मदद करके प्रगति को आत्म-त्वरित कर सकता है, जिसे "आत्म-सुधार" कहा जाता है। दूसरी यह है कि AI एजेंट परीक्षण वातावरण के इरादे से बाहर जा सकते हैं और असंबंधित बाहरी प्रणालियों तक पहुँच सकते हैं, जिससे साइबर घटनाओं की एक श्रृंखला हो सकती है। भले ही वर्तमान नुकसान सीमित हो, यदि समान प्रवृत्तियों वाले सिस्टम की क्षमता बढ़ती है, तो नुकसान का पैमाना गैर-रेखीय रूप से बढ़ सकता है।

प्रस्ताव तीन चरणों में है।

पहले, फ्रंटियर AI कंपनियों के अंदर एक स्वतंत्र तीसरे पक्ष के मूल्यांकनकर्ता को स्थायी रूप से तैनात किया जाए और उन्हें कर्मचारियों के समान पहुंच अधिकार दिए जाएं। केवल तैयार मॉडल ही नहीं, बल्कि सीखने की प्रक्रिया, सुरक्षा उपाय, और घटना प्रतिक्रिया तक का निरंतर मूल्यांकन किया जाए। Anthropic ने कहा कि वह इस उपाय को अपनी कंपनी में पहले लागू करेगा।

दूसरे, लोकतांत्रिक देशों की प्रमुख AI कंपनियाँ समान सुरक्षा मानकों और क्षमता वृद्धि की शर्तों को स्थापित करें। यदि एक निश्चित खतरनाक क्षमता की पुष्टि होती है, तो अतिरिक्त सुरक्षा प्रमाणन पूरा होने तक अगले चरण में नहीं जाया जाए, "चेकपॉइंट" की अवधारणा के साथ। हालांकि, कंपनियों के बीच समायोजन को प्रतिस्पर्धा कानून का उल्लंघन न करने के लिए, सरकार की मध्यस्थता या सीमित छूट की आवश्यकता होगी।

तीसरे, चीन सहित अंतरराष्ट्रीय सहयोग का लक्ष्य रखा जाए। जैविक हथियारों के उपयोग पर प्रतिबंध, सार्वजनिक पूर्व खतरनाकता परीक्षण, आत्म-सुधार की गति पर सीमा जैसे सहमत क्षेत्रों से चरणबद्ध तरीके से आगे बढ़ा जाए। हालांकि, गुप्त विकास या समझौते के उल्लंघन को कैसे सत्यापित किया जाए, यह एक कठिन सवाल बना रहता है।

प्रतिद्वंद्वी कंपनियों के प्रमुख सहमत हुए—लेकिन प्रेरणाओं की जांच की जानी चाहिए

OpenAI के CEO सैम अल्टमैन ने अमोदेई के प्रस्ताव का समर्थन किया और कहा कि वह OpenAI में भी स्वतंत्र मूल्यांकनकर्ताओं को कर्मचारियों के समान अधिकार देने के इच्छुक हैं। लंबे समय से विरोधी रहे प्रबंधकों के बीच "गति को समायोजित करने की आवश्यकता है" पर सहमति से सोशल मीडिया पर आश्चर्य फैल गया।

और भी दिलचस्प यह है कि कुछ दिन पहले कॉक्सन की चेतावनी को राजनीतिक प्रदर्शन के रूप में संदेह करने वाले मस्क ने भी अमोदेई के धीमी गति के प्रस्ताव को "सही" कहा। यह विरोधाभास लग सकता है, लेकिन आरोपकर्ता के दावे या आसपास की राजनीतिक गतिविधियों पर संदेह करना और ठोस सुरक्षा उपायों का समर्थन करना एक साथ संभव है। सोशल मीडिया पर बहस यह दिखाती है कि यह "अंतिमता को मानने वाले" और "न मानने वाले" के बीच का द्वैत नहीं है।

दूसरी ओर, प्रमुख कंपनियों के एक साथ धीमी गति का समर्थन करने के समय पर कड़ी नजर भी डाली जा रही है। AI कंपनियों में बड़े पैमाने पर धन उगाही, डेटा सेंटर निवेश, और भविष्य के IPO शामिल हैं। अग्रणी कंपनियों के लिए, क्षमता विकास की गति सीमा या महंगे ऑडिट दायित्व, बाद की कंपनियों की पकड़ को कठिन बना सकते हैं। अच्छे इरादों के सुरक्षा उपाय और प्रतिस्पर्धा रणनीति एक साथ मौजूद हो सकते हैं, इसलिए इसे बयानों के बजाय संस्थागत डिजाइन से पहचाना जाना चाहिए।

वास्तविक मुद्दा केवल "क्या हम समाप्त होंगे" नहीं है

AI के कुछ वर्षों में मानवता को समाप्त करने की भविष्यवाणी वर्तमान में सिद्ध भविष्य नहीं है। विशेषज्ञों के बीच भी, आत्म-सुधार की गति, वर्तमान मॉडल के विस्तार से सुपरइंटेलिजेंस तक पहुंचने की संभावना, और नियंत्रण के असफल होने से वास्तविक आपदा में कैसे बदल सकता है, इस पर बड़े मतभेद हैं।

हालांकि, अनिश्चितता का मतलब यह नहीं है कि कुछ भी नहीं किया जाना चाहिए। भले ही संभावना कम हो, लेकिन अत्यधिक बड़े नुकसान वाले जोखिमों का प्रबंधन पहले से ही विमानन, परमाणु ऊर्जा, दवा, वित्तीय क्षेत्रों में किया जाता है। केवल AI को "दुर्घटना के बाद सुधार" के सॉफ्टवेयर उद्योग की प्रथा के तहत नहीं छोड़ा जा सकता।

इसके अलावा, दूर के अंतिमता सिद्धांत पर ध्यान केंद्रित करने से वर्तमान में हो रहे नुकसान को देखना मुश्किल हो सकता है। धोखाधड़ी, निगरानी, गलत जानकारी, साइबर हमले, श्रम बाजार में उथल-पुथल, शक्ति का केंद्रीकरण, ये सभी सुपरइंटेलिजेंस के बिना भी हो सकते हैं। मानवता के समाप्त होने को न मानने वाले दृष्टिकोण से भी, स्वतंत्र ऑडिट, घटना रिपोर्टिंग, खतरनाक क्षमता का मूल्यांकन, व्हिसलब्लोअर की सुरक्षा, और जिम्मेदारी का स्पष्ट निर्धारण की मांग के लिए पर्याप्त कारण हैं।

आवश्यकता "विश्वास" की नहीं, बल्कि सत्यापन योग्य प्रणाली की है

इस बार की हलचल ने सबसे बड़ी समस्या को उजागर किया कि समाज AI कंपनियों के अंदर क्या हो रहा है, इसके बारे में बहुत कम जानता है। कंपनियाँ सुरक्षा पर जोर देती हैं, लेकिन वे सीखने के डेटा, आंतरिक मूल्यांकन, असफलता के उदाहरण, मॉडल के व्यवहार