أخبار الذكاء الاصطناعي، تُحدّث كل ساعة
EnglishEspañolالعربيةРусскийDeutschPortuguês中文SuomiFrançaisNederlandsBahasa Indonesiaहिन्दी日本語한국어TürkçeTiếng Việt
RSS بحث الكل 🟢 الحالة

Poolside

أحدث أخبار ونماذج وإصدارات الذكاء الاصطناعي من Poolside. ['Laguna S 2.1', 'Laguna XS', 'Laguna XS.2']

الأبحاث 🇺🇸 ⚡

ابتكارات في بنية نماذج اللغات الكبيرة: مشاركة KV، تضمينات لكل طبقة، وانتباه مضغوط

يستعرض سيباستيان راشكا التطورات الحديثة في بنية نماذج اللغات الكبيرة مفتوحة الوزن، مع التركيز على كفاءة السياقات الطويلة. تشمل التقنيات الرئيسية مشاركة KV عبر الطبقات (Gemma 4)، التضمينات لكل طبقة (Gemma 4 E2B/E4B)، تخصيص الانتباه لكل طبقة (Laguna XS.2)، الانتباه التلافيفي المضغوط (ZAYA1)، وmHC مع الانتباه المضغوط (DeepSeek V4). تعمل هذه الابتكارات على تقليل حجم ذاكرة التخزين المؤقت لـ KV وحركة البيانات للاستدلال وسير عمل العوامل.

Google/DeepMindGoogle/DeepMind PoolsidePoolside DeepSeekDeepSeek Technology Innovation InstituteTechnology Innovation Institute
Sebastian Raschka27.07 · 13:06
النماذج 🇷🇺

Poolside تطلق Laguna S 2.1، وتدعي أنها أقوى نموذج مفتوح في الغرب

أطلقت Poolside نموذج Laguna S 2.1، وهو نموذج مفتوح المصدر من نوع Mixture-of-Experts يحتوي على 118 مليار معلمة، مصمم للبرمجة الوكيلة. تدعي الشركة أن أداءه ينافس نماذج أكبر بكثير بينما يعمل على حاسوب NVIDIA DGX Spark المكتبي، مع توفير الأوزان على Hugging Face للاستخدام التجاري.

PoolsidePoolside OpenAIOpenAI DeepSeekDeepSeek NVIDIANVIDIA Moonshot AIMoonshot AI
Habr — хаб ИИ23.07 · 23:50
أخبار جديدة