Needle 2: открытая модель с 45 млн параметров для вызова инструментов в бинарнике размером 14 МБ
Cactus Compute выпустила Needle 2 — открытую модель с 45 млн параметров для вызова инструментов, использования устройств и структурированного извлечения данных. Модель поставляется в виде бинарника размером 14 МБ, работает примерно в 28 МБ оперативной памяти и достигает высокой пропускной способности на периферийных устройствах. Она лидирует в тестах Seal-Tools, но отстает в BFCL v4.
Cactus Compute выпустила Needle 2 — открытую модель с 45 миллионами параметров для вызова инструментов, использования устройств и структурированного извлечения данных. Вся модель поставляется в виде одного бинарного файла размером 14 МБ, который выполняет полный сеанс, используя около 28 МБ оперативной памяти. Веса обучены и развернуты с использованием CQ2-битного квантования (Cactus Quants), а
Показать ещё ↓
Источник: MarkTechPost —
оригинал