Tekoälyuutisia päivitettynä tunneittain
EnglishEspañolالعربيةРусскийDeutschPortuguês中文SuomiFrançaisNederlandsBahasa Indonesiaहिन्दी日本語한국어TürkçeTiếng Việt
RSS Haku Kaikki 🟢 Tila

Poolside

Uusimmat tekoälyuutiset, mallit ja julkaisut taholta Poolside. ['Laguna S 2.1', 'Laguna XS', 'Laguna XS.2']

Tutkimus 🇺🇸 ⚡

LLM-arkkitehtuurien innovaatiot: KV-jako, kerroskohtaiset upotukset ja pakattu huomio

Sebastian Raschka tarkastelee tuoreita avoimen painon LLM-arkkitehtuurien edistysaskeleita, jotka keskittyvät pitkän kontekstin tehokkuuteen. Keskeisiä tekniikoita ovat KV-jako kerrosten välillä (Gemma 4), kerroskohtaiset upotukset (Gemma 4 E2B/E4B), kerroskohtainen huomion budjetointi (Laguna XS.2), pakattu konvoluutiohuomio (ZAYA1) ja mHC pakatuulla huomiolla (DeepSeek V4). Nämä vähentävät KV-välimuistin kokoa ja muistiliikennettä päättely- ja agenttityönkuluissa.

Google/DeepMindGoogle/DeepMind PoolsidePoolside DeepSeekDeepSeek Technology Innovation InstituteTechnology Innovation Institute
Sebastian Raschka27.07 · 13:06
Mallit 🇷🇺

Poolside julkaisee Laguna S 2.1 -mallin, väittää sen olevan lännen tehokkain avoin malli

Poolside on julkaissut Laguna S 2.1 -mallin, avoimen lähdekoodin 118 miljardin parametrin Mixture-of-Experts -mallin agenttikoodaukseen. Se väittää suorituskyvyn kilpailevan paljon suurempien mallien kanssa, mutta toimivan työpöydän NVIDIA DGX Spark -laitteella. Painot ovat saatavilla Hugging Facessa kaupalliseen käyttöön.

PoolsidePoolside OpenAIOpenAI DeepSeekDeepSeek NVIDIANVIDIA Moonshot AIMoonshot AI
Habr — хаб ИИ23.07 · 23:50
Tuoreet uutiset