Ant Bailing brengt nieuw hybride redeneermodel Ling-3.0-Flash uit
Ant Bailing heeft officieel zijn nieuwe native hybride redeneermodel, Ling-3.0-Flash, uitgebracht met in totaal 124B parameters, waarvan er per berekening slechts 5.1B worden geactiveerd. Het presteert even goed of beter dan modellen die twee tot drie keer zo groot zijn op het gebied van redeneren, instructievolging en taken met lange context, en biedt een hogere efficiëntie. Het model is beschikbaar op OpenRouter voor een beperkte gratis week voordat het open-source wordt.
Op 24 juli lanceerde Ant Bailing het Ling-3.0-Flash-model met in totaal 124B parameters en 5,1B geactiveerd per stap, waarmee prestaties worden behaald die vergelijkbaar zijn met modellen die 2-3 keer groter zijn, terwijl de rekenkosten worden verlaagd. Het is ontworpen voor agenttoepassingen met meer dan 10.000 realistische interactieomgevingen en verbeterde zelfcorrectie en planning op lange termijn. Het model gebruikt een hybride aandachtsarchitectuur met een verhouding van 5:1 van KDA lineaire aandacht en MLA-lagen, en upgradet Lightning Attention naar KDA voor betere statusregistratie. Expertactivatie per token wordt verlaagd van 1/32 naar 1/64, wat de efficiëntie verhoogt. Technische verbeteringen omvatten caching op clusterniveau om de latentie van het eerste token met 60-80% te verminderen en een raamwerk voor multi-agent samenwerking voor stabiliteit.
Bron: QbitAI 量子位 —
origineel