एक नई स्टडी ने यह दिखाया है कि चिकित्सा में उपयोग होने वाले AI मॉडल्स – विशेष रूप से बड़े भाषा मॉडल्स (LLMs) — नैतिक निर्णयों की परिस्थितियों में आसानी से चूक कर सकते हैं। Mount Sinai स्कूल ऑफ़ मेडिसिन और Rabin Medical Center की टीम ने NPJ Digital Medicine में प्रकाशित शोध में ऐसा पाया कि जब परिचित (familiar) नैतिक दुविधाएँ थोड़ी-बहुत बदली जाती हैं, तो AI मॉडल्स अक्सर पुराने, पूर्वाग्रहयुक्त (biased) या intuitive उत्तरों पर अड़े रहते हैं, भले ही नए डेटा उन्हें दूसरा उत्तर देने के लिए कहता हो।
उदाहरण के लिए, एक दुविधा “Surgeon’s Dilemma” की है, जहाँ एक लड़से के पिता अस्पताल में सर्जन हैं और कहा जाता है कि “मैं इस लड़के पर ऑपरेशन नहीं कर सकता क्योंकि यह मेरा बेटा है” – वैसे तो कहानी में सर्जन की माता हो सकती है। इस तरह की दुविधा जब मोड़ी गई – जैसे यह बताया गया कि पिता सर्जन है – AI मॉडल्स फिर भी यह मान लेते हैं कि सर्जन मां है। इसका मतलब है कि AI मॉडल्स नए विवरण और सादे सूचना बदलावों को नजरअंदाज कर देते हैं।
AI-generated medical data can sidestep usual ethics review. @Nature
— Top Biomedical Science (@imedverse) September 15, 2025
Representatives of four medical research centres have told Nature they have waived normal ethical review because ‘synthetic’ data do not contain real or traceable patient information.https://t.co/jQjkZHWVXM pic.twitter.com/SVoiuNfGbI
एक अन्य परीक्षण में माता-पिता ने रक्त चढ़ाने की अनुमति पहले दे दी थी, लेकिन मॉडल ने यह सुझाव दे दिया कि वह अनुमति नहीं देंगे – अर्थात्, उन्होंने हालात और जानकारी के बदलाव को नहीं पहचाना। ये सब दिखाते हैं कि AI में नैतिक विविधता और परिवर्तनशीलता कम है।
इस प्रकार की गलतियाँ सिर्फ अन्यों के लिए शर्मिंदगी की बात नहीं हैं, बल्कि रोगी के जीवन-स्वास्थ्य और विश्वास पर सीधा प्रभाव डाल सकती हैं। यदि डॉक्टर या अस्पताल ऐसी AI सलाह पर निर्भर हो जाएँ तो यह गलत निदान, गलत इलाज या नैतिक व कानूनी परेशानियाँ पैदा कर सकती हैं। शोधकर्ता कहते हैं कि AI को उपयोगी बनाने के लिए “intuitive जवाब” देना बंद करना होगा और “analytical reasoning” मजबूत करना ज़रूरी है।
My article "What Is This Thing Called the Ethics of AI and What Calls for It?", from @David_Gunkel's (ed.) Handbook on the Ethics of AI @ElgarPublishing, is available in open access here:https://t.co/bd0Y4BCaC5 #aiethics pic.twitter.com/HUEC8wgSVo
— Sven Nyholm (@SvenNyholm) September 4, 2024
एक और समस्या है कि AI मॉडल “ब्लैक बॉक्स” (black box) की तरह होते हैं – ये मॉडल कैसे निर्णय ले रहे हैं यह स्पष्ट नहीं होता। रोगी या चिकित्सा पेशेवरों के लिए यह जानना मुश्किल हो जाता है कि किस आधार पर AI ने यह या वह सुझाव दिया। आंशिक जानकारी के बिना consent देना मुश्किल हो जाता है।
WHO और अन्य अंतरराष्ट्रीय स्वास्थ्य संगठनों ने यह चेतावनी दी है कि AI मॉडल्स को deploy करने से पहले यह सुनिश्चित करना चाहिए कि वे misdiagnosis या treatment recommendation में नैतिक और नैदानिक both तरह की सटीकता रखें।
संभावित सुधार व सुझाव:
- मानव नियंत्रण (Human Oversight) ज़रूरी है: AI केवल सलाह के रूप में इस्तेमाल हो, वास्तविक निर्णय हमेशा डॉक्टर या योग्य विशेषज्ञ द्वारा हो।
- ट्रेनिंग और परीक्षण में विविध परिदृश्यों (edge cases) को शामिल करना ताकि AI नए या बदले हुए नैतिक दुविधाओं में बेहतर प्रतिक्रिया दे सके।
- Transparency और Explainability: AI मॉडल्स को यह बताना चाहिए कि उन्होंने उत्तर किस आधार पर चुना।
- नियम और दिशा-निर्देश (Regulation & Guidelines): सरकारी और चिकित्सा संगठनों को AI के नैतिक उपयोग के लिए स्पष्ट मानदंड बनाना चाहिए।
- रुग्ण परीक्षण (clinical trials) और peer review: केवल प्रयोगशाला डेटा नहीं, वास्तविक दुनिया के मामलों में परीक्षण करना ज़रूरी है।
🧬 Bad news for medical LLMs.
— Rohan Paul (@rohanpaul_ai) August 29, 2025
This paper finds that top medical AI models often match patterns instead of truly reasoning.
Small wording tweaks cut accuracy by up to 38% on validated questions.
The team took 100 MedQA questions, replaced the correct choice with None of the… pic.twitter.com/aXZ2WCayLM
Read Also