جدل حول النماذج اللغوية الكبيرة: هل تصبح معمارية متعددة الاستخدامات أم أكثر تخصصًا؟

أندرو هو غادر OpenAI بعد ثمانية أشهر، مستشهداً بضعف التعميم وتفاوت القدرات في نماذج اللغة الكبيرة حتى في المجالات الممولة جيداً مثل البرمجة. وهو يعتقد أن المشكلة تكمن في عدم كفاية بيانات التدريب، حيث أن معظم المهارات ذات الأهمية الاقتصادية بالكاد ممثلة في عروض البيانات الحالية. ويقدر هو أن مختبرات الذكاء الاصطناعي ستحتاج إلى إنفاق أكثر من 100 مليار دولار على اقتناء البيانات المستهدفة لأن التوسع وحده ليس كافياً. وهو أيضاً متشكك في التقييمات المرتفعة للمختبرات الرائدة مثل OpenAI وAnthropic، مشيراً إلى أنها غير مربحة بشكل مزمن ويجب أن تستثمر باستمرار لتنافس المنافسين الأرخص مثل كيوين أو كيمي. تركز منتجاته الأولى على مجموعات البيانات لعلم المعلومات الحيوية والعمل المختبري اليومي، حيث تحقق النماذج الحالية مثل GPT-5.6 Sol معدل نجاح حوالي 30 في المئة فقط. يدعم آدم هانت من كامبريدج هذا الرأي، ملاحظاً أن أحدث النماذج أصبحت أكثر تخصصاً، مع نمو في البرمجة والرياضيات المعقدة بينما تظل المجالات الأخرى راكدة. يقدم توم زهافي من جوجل ديب مايند تفسيراً هيكلياً، قائلاً إن نماذج اللغة تتقن الاستنتاج والاستقراء ولكنها تفشل في الابتكار الإبداعي. ويقترح نماذج العالم القابلة للتحكم بالفعل كمسار محتمل للخروج.