बड़े भाषा मॉडलों पर बहस: क्या LLM अधिक बहुमुखी हो रहे हैं - या अधिक विशिष्ट?
OpenAI
Anthropic
Alibaba/Qwen
Moonshot AI
Google DeepMind
OpenAI के पूर्व कर्मचारी एंड्रयू हो ने उच्च-गुणवत्ता वाले प्रशिक्षण डेटा के लिए एक स्टार्टअप की स्थापना की है, क्योंकि उन्हें बड़े भाषा मॉडलों की सामान्यीकरण क्षमता पर संदेह है। उनका यह संदेह कैम्ब्रिज और Google DeepMind के शोधकर्ताओं द्वारा समर्थित है, जो देखते हैं कि वर्तमान AI प्रणालियाँ बहुमुखी होने के बजाय अधिक विशिष्ट होती जा रही हैं।
एंड्रयू हो ने आठ महीने बाद OpenAI छोड़ दिया, उन्होंने कहा कि बड़े भाषा मॉडलों में खराब सामान्यीकरण और असमान क्षमताएं हैं, यहां तक कि प्रोग्रामिंग जैसे अच्छी तरह से वित्त पोषित क्षेत्रों में भी। उनका मानना है कि समस्या अपर्याप्त प्रशिक्षण डेटा में है, क्योंकि अधिकांश आर्थिक रूप से प्रासंगिक कौशल मौजूदा डेटा पेशकशों में बमुश्किल प्रतिनिधित्व करते हैं। हो का अनुमान है कि AI प्रयोगशालाओं को लक्षित डेटा अधिग्रहण पर 100 अरब डॉलर से अधिक खर्च करने की आवश्यकता होगी, क्योंकि अकेले स्केलिंग पर्याप्त नहीं है। वह OpenAI और Anthropic जैसी सीमांत प्रयोगशालाओं के उच्च मूल्यांकन पर भी संदेह करते हैं, यह देखते हुए कि वे लगातार लाभहीन हैं और उन्हें Qwen या Kimi जैसे सस्ते प्रतिस्पर्धियों से मुकाबला करने के लिए लगातार निवेश करना पड़ता है। उनके पहले उत्पाद बायोइन्फॉरमैटिक्स और रोजमर्रा के प्रयोगशाला कार्यों के लिए डेटासेट पर केंद्रित हैं, जहां GPT-5.6 Sol जैसे वर्तमान मॉडल केवल लगभग 30 प्रतिशत सफलता दर प्राप्त करते हैं। कैम्ब्रिज के एडम हंट इस दृष्टिकोण का समर्थन करते हैं, यह देखते हुए कि नवीनतम मॉडल अधिक विशिष्ट होते जा रहे हैं, कोडिंग और जटिल गणित में वृद्धि के साथ जबकि अन्य क्षेत्र स्थिर हैं। Google DeepMind के टॉम ज़हावी एक संरचनात्मक व्याख्या प्रदान करते हैं, यह बताते हुए कि भाषा मॉडल निगमन और प्रेरण में महारत हासिल करते हैं लेकिन रचनात्मक अपहरण में विफल रहते हैं। वे संभावित समाधान के रूप में क्रिया-नियंत्रणीय विश्व मॉडल का सुझाव देते हैं।
स्रोत: The Decoder (DE) —
मूल