Bonsai-27B на рекурсивном форке llama.cpp: полная настройка и реальный бенчмарк на видеокарте RTX 3050
Эта третья статья о рекурсивном форке llama.cpp посвящена запуску гибридной модели Bonsai-27B (линейная архитектура Delta-Net) на слабой видеокарте, с демонстрацией реального бенчмарка при глубине D=0 против D=12 на задаче криптарифметики. При включенной рекурсии (D=12) модель решила задачу SEND+MORE=MONEY, в то время как базовая версия движка не справилась. Приведены команды настройки и переменные окружения для рекурсии.
Habr — хаб ИИ06.08 · 00:03