Poolside

Uusimmat tekoälyuutiset, mallit ja julkaisut taholta Poolside. ['Laguna S 2.1', 'Laguna XS', 'Laguna XS.2']

Tutkimus 🇺🇸

Viimeisimmät innovaatiot LLM-arkkitehtuureissa: jaetut KV-välimuistit, kerroskohtaiset upotukset ja pakattu tarkkaavaisuus

Uudet avoimet LLM-mallit keskittyvät yhä enemmän tehokkaaseen pitkän kontekstin käsittelyyn. Gemma 4 (Google) käyttää KV-tensorin jakamista kerrosten välillä vähentääkseen välimuistin kokoa sekä kerroskohtaisia upotuksia parantamaan parametritehokkuutta. Laguna XS.2 (Poolside) hyödyntää kerroskohtaista tarkkaavaisuusbudjetointia, ja DeepSeek V4 esittelee mHC- ja pakatun tarkkaavaisuusmekanismit.

Google/DeepMindGoogle/DeepMind PoolsidePoolside DeepSeekDeepSeek Technology Innovation InstituteTechnology Innovation Institute
Sebastian Raschka27.07 · 13:06
Mallit 🇺🇸

Poolside julkaisee Laguna S 2.1 -mallin – avoimen painoarvon malli agenttipohjaiseen ohjelmointiin, joka ylittää painoluokkansa SWE-Bench Multilingual -testissä

Poolside julkaisi Laguna S 2.1 -mallin, jossa on 11,8 miljardia parametria ja 8 miljardia aktiivista parametria tokenia kohden. Se on suunniteltu agenttipohjaiseen ohjelmointiin. Se perustuu Mixture-of-Experts (MoE) -arkkitehtuuriin, tukee enintään 1 miljoonan tokenin kontekstia ja voi toimia yhdellä NVIDIA DGX Spark -laitteella. Laguna S 2.1 on ensimmäisellä sijalla avoimien mallien joukossa, joiden koko tunnetaan, Terminal-Bench 2.1 (70,2 %) ja SWE-Bench Multilingual (78,5 %) -testeissä, ja se päihittää monet suuremmat kilpailijat.

PoolsidePoolside DeepSeekDeepSeek NVIDIANVIDIA TencentTencent Moonshot AIMoonshot AI Alibaba/QwenAlibaba/Qwen AnthropicAnthropic
MarkTechPost24.07 · 05:04
Tuoreet uutiset