Обновление llama.cpp b10075: четыре улучшения локального ИИ-движка
Meta
Обновление llama.cpp b10075 вводит четыре ключевых улучшения локального движка вывода ИИ. Эти усовершенствования направлены на повышение производительности, эффективность использования памяти и новые возможности для запуска больших языковых моделей локально.
Недавнее обновление llama.cpp b10075 привносит четыре крупных улучшения в локальный движок ИИ. Во-первых, оно добавляет поддержку семейства моделей Llama 4, позволяя пользователям запускать эти модели локально. Во-вторых, оно оптимизирует использование памяти за счёт улучшенной обработки кэша ключ-значение, снижая потребление оперативной памяти во время инференса. В-третьих, оно вводит новую
Показать ещё ↓
Источник: Meta AI (GNews) —
оригинал