الشركات الناشئة تبحث عن الشيء الكبير التالي في نماذج اللغات الكبيرة

Transformer، التي قدمتها ورقة بحثية من Google عام 2017، تشغّل جميع نماذج اللغة الكبيرة الرئيسية، لكن آلية الانتباه الكثيفة فيها مكلفة حسابيًا وتواجه صعوبات مع السياقات الطويلة. تعالج الشركات الناشئة هذه العيوب: تدّعي شركة Subquadratic أن نموذج الانتباه المتناثر لديها، SubQ، ينافس نماذج اللغة الرئيسية السائدة؛ وتستبدل شركة Manifest AI الانتباه بـ"الاحتفاظ بالقوة" وأصدرت PowerCoder وBrumby؛ وتجمع Liquid AI بين Transformer والشبكات العصبية السائلة لإنشاء نماذج مؤسسية سائلة هجينة أصغر حجمًا وأكثر كفاءة في استخدام الطاقة؛ وتستخدم Inception الانتشار لتوليد كتل نصية كاملة في وقت واحد، ويُزعم أن نموذجها Mercury 2 أسرع بعشر مرات من GPT-4؛ ويتفوق نموذج "دراجون هاتشلينغ" من Pathway في حل ألغاز السودوكو، مما يشير إلى تجاوز حدود اللغة. ترى هذه الشركات الناشئة فرصة لتغيير طريقة بناء نماذج اللغة الكبيرة، مع إمكانية تحقيق مكاسب كبيرة في السرعة والكفاءة والقدرات.