Bonsai-27B sur un fork récursif de llama.cpp : configuration complète et benchmark réel sur RTX 3050
cubetitled-ui
Ce troisième article sur un fork récursif de llama.cpp couvre l'exécution du modèle hybride Bonsai-27B (architecture linéaire Delta-Net) sur un GPU modeste, présentant un benchmark réel de profondeur D=0 vs D=12 sur une tâche d'arithmétique cryptée. Avec la récurrence activée (D=12), le modèle a résolu SEND+MORE=MONEY, tandis que le moteur de base a échoué. Les commandes de configuration et les variables d'environnement de récurrence sont fournies.
L'auteur présente la troisième partie de sa série sur un fork récursif de llama.cpp, en se concentrant sur Bonsai-27B, un modèle hybride avec des couches Delta-Net linéaires et des couches à attention complète. La récurrence n'est appliquée qu'aux couches à attention complète. Le modèle en quantification Q1_0 fait environ 3,5 Go, ce qui lui permet de tenir dans 6 Go de VRAM. L'article fournit des instructions de compilation pour CUDA et CPU, ainsi que des commandes d'utilisation avec les variables d'environnement RECURRENT_D (profondeur : 0, 12, 24), RECURRENT_LAYERS_COUNT et RECURRENT_KV. Un benchmark réel sur une RTX 3050 Mobile 6 Go avec seed 42 et température 0,3 a été exécuté sur le puzzle cryptarithmétique SEND+MORE=MONEY, avec une limite de 7000 jetons. D=0 a généré 7000 jetons sans résoudre, atteignant la limite de longueur (finish_reason : length). D=12 a généré 6594 jetons et l'a correctement résolu avec S=9, E=5, N=6, D=7, M=1, O=0, R=8, Y=2, vérifiant 9567+1085=10652, s'arrêtant correctement (finish_reason : stop). Le temps de génération était d'environ 5,5 minutes pour les deux, avec des vitesses de 21,1 jetons/s (D=0) et 19,8 jetons/s (D=12), soit un ralentissement d'environ 6 %. L'article note que la récurrence ne modifie pas les poids, mais seulement le graphe de calcul d'inférence, et liste les modèles compatibles, notamment Qwen3.5, Qwen2, Gemma 2, Mistral 3 et Delta-Net (Bonsai).
Source: Habr — хаб ИИ —
original