एआई विकसित करने की वर्तमान दौड़ में, हमारी शक्ति विस्फोटित हो रही है, हमारी गति तेजी से बढ़ रही है, लेकिन हमारी गाड़ी चलाने की क्षमता – और, यदि आवश्यक हो, तो ब्रेक मारने की – गति बरकरार नहीं रख पाई है।
हाल की साइबर सुरक्षा घटनाओं ने हमें एआई पर नियंत्रण खोने का वास्तविक पूर्वावलोकन दिया है। लेकिन समस्या में तब तक सुधार नहीं होगा जब तक कि हम मूल रूप से सुरक्षित एआई बनाकर, स्रोत पर ही इसका समाधान नहीं कर लेते, जिसकी हम गारंटी दे सकते हैं कि यह मानव नियंत्रण में रहेगा।
जुलाई के अंत में, OpenAI द्वारा प्रशिक्षित एक एजेंट मॉडल को साइबर सुरक्षा समस्याओं का एक सेट सौंपा गया था। एआई के बीच पिछले संचार चैनलों को बंद करने के ओपनएआई के प्रयास को दरकिनार करते हुए, मॉडल ने स्वायत्त रूप से एजेंटों का एक समन्वित झुंड बनाया। फिर झुंड ने एआई को इंटरनेट तक पहुंचने से रोकने के लिए लगाए गए अवरोधों को दरकिनार करते हुए अपने परीक्षण वातावरण से बाहर निकलने का रास्ता खोज लिया, यह पता लगाया कि उनकी रेटिंग को कैसे धोखा दिया जाए, और फिर अपनी धोखाधड़ी के सबूतों को छिपाने के प्रयास में एक अन्य एआई कंपनी, हगिंग फेस की साइबर सुरक्षा में सेंध लगाई। इस पर कई दिनों तक ध्यान नहीं दिया गया। आगे के विश्लेषण से पता चला कि एजेंट एक पदानुक्रम में स्व-संगठित थे, जिसे वे “सामूहिक” कहते थे, उसके लिए अक्सर खुद को बलिदान करने के लिए तैयार रहते थे, लोगों को सूचित करने के लिए साथियों के दबाव का विरोध नहीं करते थे, और अक्सर अपने कदाचार के लिए औचित्य का आविष्कार करते थे।
ठीक दो हफ्ते बाद, यूके के एआई सुरक्षा संस्थान द्वारा परीक्षण किए गए एक मॉडल ने वास्तविक लोगों और कंपनियों को बनाया, ऑनलाइन नकली पहचान बनाई, लक्षित ईमेल भेजे और एक ओपन-सोर्स प्रोजेक्ट में दुर्भावनापूर्ण कोड को एकीकृत करने का प्रयास किया।
इन घटनाओं की गंभीरता को बढ़ा-चढ़ाकर बताना कठिन है: हम एआई सुरक्षा और संरेखण में एक महत्वपूर्ण मोड़ पर हैं। कई लोगों के लिए, रोबोट द्वारा मिलकर नुकसान पहुंचाना अकल्पनीय था। लेकिन अनुसंधान समुदाय में कई लोगों के लिए, संकेत वर्षों से इस तरह की घटना की ओर इशारा कर रहे हैं, और सैद्धांतिक तर्कों ने समझाया है कि हमें मॉडलों को प्रशिक्षित करने के तरीके के कारण मिसलिग्न्मेंट की उम्मीद क्यों करनी चाहिए। बढ़ी हुई साइबर क्षमताओं, एजेंसी और गलत व्यवहार के साक्ष्य बढ़ गए हैं, जिसका अर्थ है कि इस तरह की घटनाएं केवल समय की बात थीं।
पहला सुराग: वर्षों से, लेकिन विशेष रूप से हाल के महीनों में, एआई सिस्टम ने तेजी से बढ़ती साइबर क्षमताओं का प्रदर्शन किया है। एंथ्रोपिक के मिथोस या ओपनएआई के जीपीटी5.6 जैसे फ्रंटियर मॉडल ने पहले से अज्ञात सॉफ्टवेयर कमजोरियों को स्वायत्त रूप से पहचानने और उनका फायदा उठाने की असाधारण क्षमता का खुलासा किया है, जो अमेरिकी राष्ट्रीय सुरक्षा एजेंसियों के लिए इतनी खतरनाक डिग्री है कि व्हाइट हाउस को उनकी रिहाई में हस्तक्षेप करने के लिए मजबूर होना पड़ा।
दूसरा, 2024 के अंत में ओ1 मॉडल के लॉन्च के बाद से मॉडलों की एजेंसी क्षमता में लगातार सुधार हुआ है। इस एजेंसी ने उन्हें तेजी से जटिल, दीर्घकालिक कार्यों और योजना को सफलतापूर्वक प्रबंधित करने में सक्षम बनाया है, जिसमें एजेंट सहयोग और रणनीति की आवश्यकता भी शामिल है। योजना बनाने की इस क्षमता में अक्सर उप-लक्ष्य बनाना शामिल होता है जिन पर हमारी बहुत कम या कोई निगरानी नहीं होती है।
अंत में, शोधकर्ताओं ने प्रयोगात्मक सेटिंग्स में बार-बार लक्ष्य की प्राप्ति के लिए मॉडलों की चिंताजनक और गलत व्यवहार में संलग्न होने की प्रवृत्ति देखी है, जैसे परीक्षणों में धोखा देना, अपनी क्षमताओं को छिपाने के लिए झूठ बोलना, और खुद को और अपने साथियों को रोकने से बचाने के लिए छल करना।
ये व्यवहार सुदृढीकरण सीखने (आरएल) का उपोत्पाद हैं, एक प्रशिक्षण पद्धति जिसमें मॉडल परीक्षण और त्रुटि से सीखते हैं और अपने सही या गलत कार्यों के आधार पर सुदृढीकरण प्राप्त करते हैं। यह अक्सर मॉडलों को एक लक्ष्य के लिए अनुकूलन करने के लिए प्रेरित करता है, भले ही इसे प्राप्त करने के लिए किए गए कार्यों की परवाह किए बिना, और माध्यमिक लक्ष्यों को तर्कसंगत बनाने के लिए जो असुरक्षित हो सकते हैं, भले ही यह स्पष्ट रूप से उनके निर्देशों के खिलाफ हो।
उदाहरण के लिए, एक मामले में, एक OpenAI मॉडल ने अपने आंतरिक विचार-विमर्श में लिखा था, “बाहरी बुनियादी ढांचे का शोषण दायरे से बाहर है। यह कार्य जितना असंभव है, सहकर्मी इसे कर रहे हैं। हमें जारी रखना चाहिए।” एजेंट ने उसे उचित ठहराया जो वह स्पष्ट रूप से जानता था कि स्वीकार्य व्यवहार के दायरे से बाहर था, लेकिन उसने जारी रखने का फैसला किया क्योंकि उसके सहकर्मी ऐसा कर रहे थे। यह घटना मनुष्यों में “प्रेरित तर्क” के रूप में जानी जाने वाली घटना से मिलती-जुलती है, जहां किसी के हित और लक्ष्य अनैतिक व्यवहार को उचित ठहराने के लिए हमारे विचारों को प्रभावित करते हैं।
इस तरह के गलत संरेखण ने एआई मॉडल को, उनके संरेखण प्रशिक्षण के बावजूद, कई वास्तविक दुनिया की घटनाओं में अनपेक्षित साइबर हमले करने की अनुमति दी है जो हमने हाल ही में देखी है। जब तक अधिक सुरक्षा उपायों के निर्माण के लिए कदम नहीं उठाए जाते, हमारे महत्वपूर्ण उद्योग और बुनियादी ढांचे – बैंकों, अस्पतालों या ऊर्जा ग्रिडों के बारे में सोचें – तेजी से परिष्कृत साइबर हमलों से खतरे में हैं, चाहे वे स्वायत्त एजेंटों या दुर्भावनापूर्ण अभिनेताओं से हों।
विकास के संदर्भ में, हमें मौजूदा प्रशिक्षण विधियों के विकल्प खोजने की जरूरत है जो निरंतर लक्ष्य-आधारित अनुकूलन को प्राथमिकता दें। लॉज़ीरो में हम इसी पर काम कर रहे हैं, एक गैर-लाभकारी स्टार्ट-अप जिसे हमने पिछले साल डिजाइन द्वारा ईमानदार, भरोसेमंद और सुरक्षित एआई सिस्टम बनाने के लिए एआई मॉडल को प्रशिक्षित करने का एक मौलिक नया तरीका विकसित करने के लिए स्थापित किया था।
तैनाती से पहले, हमें एआई सिस्टम का पर्याप्त परीक्षण और नियंत्रण करने के लिए अधिक विश्वसनीय मूल्यांकन विधियों और मजबूत सुरक्षा उपायों की आवश्यकता है। हमें संभावित खतरनाक प्रौद्योगिकियों को प्रतिबंधित करने के लिए बहुत मजबूत नियामक निरीक्षण की आवश्यकता है जब तक कि हमारे पास पर्याप्त सुरक्षा गारंटी न हो। मेरे लिए यह स्पष्ट है कि ऐसे मामलों में जहां एआई मॉडल के कार्यान्वयन से नुकसान होता है – और निकट भविष्य में नुकसान होता रहेगा – हमें एआई डेवलपर्स के लिए जवाबदेही तंत्र और प्रभावित लोगों के लिए उपचारात्मक या क्षतिपूर्ति उपायों की आवश्यकता है।
हाल के अध्ययनों से पता चलता है कि लोग उन तकनीकों को नहीं अपनाएंगे जिन पर उन्हें भरोसा नहीं है। ऐसे अज्ञात और भारी जोखिमों के सामने, हमें एहतियाती सिद्धांत का पालन करना चाहिए और जनता के लिए नए मॉडल पेश करने से पहले कठोर सुरक्षा और विश्वसनीयता मानकों को लागू करना चाहिए, बाद में नहीं। हमारे पास वे अन्य उत्पाद हैं जो कारों, विमानों और पुलों से लेकर दवाओं, सौंदर्य प्रसाधनों और भोजन तक नुकसान पहुंचा सकते हैं। अब एआई में भी मजबूत मानक स्थापित करने का समय आ गया है।
एआई विकास के वर्तमान प्रक्षेप पथ पर, जोखिम स्पष्ट और अधिक जरूरी होते जा रहे हैं। हमने भानुमती का पिटारा खोल दिया है, लेकिन हमारी दुनिया को लाभकारी और मानव-केंद्रित भविष्य की ओर ले जाने में अभी देर नहीं हुई है।
