Meta AI представляет Muse Glimmer: открытая агентная модель на 30 млрд параметров для потребительских GPU
Meta выпустила Muse Glimmer — мультимодальную модель на 30 млрд параметров, дистиллированную из Muse Spark, под лицензией Apache 2.0. Благодаря 4-битному квантованию и спекулятивному декодированию DFlash она работает на одном потребительском GPU или Mac, обеспечивая локальные агентные рабочие процессы.
Meta выпустила Muse Glimmer — мультимодальную модель с 30 миллиардами параметров, дистиллированную из Muse Spark, оптимизированную для постоянно активных локальных агентных рабочих процессов и распространяемую под лицензией Apache 2.0. При полной точности модели с 30B параметрами требуется более 55 ГБ памяти, но Meta сжимает её примерно до 4-битной точности и добавляет спекулятивное декодирование
Показать ещё ↓
Источник: MarkTechPost —
оригинал