Bonsai-27B на рекурсивном форке llama.cpp: полная настройка и реальный бенчмарк на видеокарте RTX 3050
Эта третья статья о рекурсивном форке llama.cpp посвящена запуску гибридной модели Bonsai-27B (линейная архитектура Delta-Net) на слабой видеокарте, с демонстрацией реального бенчмарка при глубине D=0 против D=12 на задаче криптарифметики. При включенной рекурсии (D=12) модель решила задачу SEND+MORE=MONEY, в то время как базовая версия движка не справилась. Приведены команды настройки и переменные окружения для рекурсии.
Автор представляет третью часть своей серии о рекурсивном форке llama.cpp, сосредоточившись на Bonsai-27B, гибридной модели с линейными слоями Delta-Net и слоями полного внимания. Рекурсия применяется только к слоям полного внимания. Модель в квантовании Q1_0 занимает около 3,5 ГБ, что помещается в 6 ГБ видеопамяти. В статье приведены инструкции по сборке для CUDA и CPU, а также команды
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал