Обновление llama.cpp b10075: четыре улучшения локального ИИ-движка

llama.cpp b10075 включает четыре ключевых улучшения для локального запуска ИИ-моделей: поддержка FP6 (6-битных чисел с плавающей точкой) на GPU от NVIDIA, AMD, Apple и Intel, ассинхронная обработка запросов, кеширование состояний CUDA без синхронизации CPU, а также предварительная версия технологии SwiftKV для ускорения автогрессивной генерации.

Meta

Китайская ИИ-модель для кодинга экономит ресурсы

Китайская модель GLM 5.2 от лаборатории Z.ai предлагает сопоставимое с ведущими моделями качество кодинга по значительно более низкой цене: $4,40 за миллион выходных токенов против десятков долларов у конкурентов. Модель с открытыми весами и 753 млрд параметров (из которых активны 40 млрд) доступна для самостоятельного хостинга, что решает проблемы конфиденциальности данных. Разработчики отмечают её хорошую производительность в длительных задачах и веб-дизайне, но некоторые жалуются на лимиты и галлюцинации.

Anthropic OpenAI