AI-nieuws, elk uur bijgewerkt
EnglishEspañolالعربيةРусскийDeutschPortuguês中文SuomiFrançaisNederlandsBahasa Indonesiaहिन्दी日本語한국어TürkçeTiếng Việt
RSS Zoeken Alles 🟢 Status

Poolside

Laatste AI-nieuws, modellen en releases van Poolside. ['Laguna S 2.1', 'Laguna XS', 'Laguna XS.2']

Onderzoek 🇺🇸 ⚡

LLM-architectuurinnovaties: KV-deling, per-laag-embeddings en gecomprimeerde aandacht

Sebastian Raschka bespreekt recente ontwikkelingen in opengewicht LLM-architecturen, gericht op efficiëntie bij lange contexten. Belangrijke technieken zijn KV-deling over lagen (Gemma 4), per-laag-embeddings (Gemma 4 E2B/E4B), laaggewijze aandachtsbudgettering (Laguna XS.2), gecomprimeerde convolutionele aandacht (ZAYA1) en mHC met gecomprimeerde aandacht (DeepSeek V4). Deze verminderen de KV-cachegrootte en geheugenbandbreedte voor redeneer- en agentworkflows.

Google/DeepMindGoogle/DeepMind PoolsidePoolside DeepSeekDeepSeek Technology Innovation InstituteTechnology Innovation Institute
Sebastian Raschka27.07 · 13:06
Modellen 🇷🇺

Poolside brengt Laguna S 2.1 uit en claimt dat het het krachtigste open model van het Westen is

Poolside heeft Laguna S 2.1 uitgebracht, een open-source 118-miljard-parameter Mixture-of-Experts-model voor agentisch programmeren. Het claimt prestaties die rivaliseren met veel grotere modellen, terwijl het draait op een desktop NVIDIA DGX Spark. De gewichten zijn beschikbaar op Hugging Face voor commercieel gebruik.

PoolsidePoolside OpenAIOpenAI DeepSeekDeepSeek NVIDIANVIDIA Moonshot AIMoonshot AI
Habr — хаб ИИ23.07 · 23:50
Vers nieuws