Обновление llama.cpp b10075: четыре улучшения локального ИИ-движка

llama.cpp b10075 включает четыре ключевых улучшения для локального запуска ИИ-моделей: поддержка FP6 (6-битных чисел с плавающей точкой) на GPU от NVIDIA, AMD, Apple и Intel, ассинхронная обработка запросов, кеширование состояний CUDA без синхронизации CPU, а также предварительная версия технологии SwiftKV для ускорения автогрессивной генерации.

Meta

Сравнение фреймворков для тонкой настройки ИИ: Unsloth, Axolotl, TRL и LLaMA-Factory — скорость, VRAM и многопроцессорность

Авторы провели сравнение четырёх популярных фреймворков для тонкой настройки больших языковых моделей: Unsloth, Axolotl, TRL и LLaMA-Factory. Основное внимание уделялось скорости обучения, потреблению видеопамяти (VRAM) и поддержке нескольких GPU. Результаты помогут разработчикам выбрать оптимальный инструмент для своих задач.

Meta Unsloth Hugging Face LLaMA-Factory (hiyouga)