Bonsai-27B auf rekursivem llama.cpp-Fork: vollständige Einrichtung und echter Benchmark auf RTX 3050
cubetitled-ui
Dieser dritte Artikel über einen rekursiven llama.cpp-Fork behandelt die Ausführung des hybriden Bonsai-27B-Modells (Delta-Net-lineare Architektur) auf einer schwachen GPU und zeigt einen echten Benchmark der Tiefe D=0 gegenüber D=12 bei einer kryptarithmetischen Aufgabe. Mit aktivierter Rekurrenz (D=12) löste das Modell SEND+MORE=MONEY, während die Basis-Engine scheiterte. Einrichtungsbefehle und Umgebungsvariablen für die Rekurrenz werden bereitgestellt.
Der Autor präsentiert den dritten Teil seiner Serie über einen rekursiven Fork von llama.cpp, mit Fokus auf Bonsai-27B, einem Hybridmodell mit linearen Delta-Net-Schichten und Full-Attention-Schichten. Die Rekurrenz wird nur auf die Full-Attention-Schichten angewendet. Das Modell in Q1_0-Quantisierung ist etwa 3,5 GB groß und passt in 6 GB VRAM. Der Artikel enthält Build-Anleitungen für CUDA und CPU sowie Befehle zur Verwendung mit den Umgebungsvariablen RECURRENT_D (Tiefe: 0, 12, 24), RECURRENT_LAYERS_COUNT und RECURRENT_KV. Ein realer Benchmark auf einer RTX 3050 Mobile 6 GB mit Seed 42 und Temperatur 0,3 wurde am kryptarithmetischen Rätsel SEND+MORE=MONEY durchgeführt, mit einem Token-Limit von 7000. D=0 generierte 7000 Tokens, ohne das Rätsel zu lösen, und erreichte das Längenlimit (finish_reason: length). D=12 generierte 6594 Tokens und löste es korrekt mit S=9, E=5, N=6, D=7, M=1, O=0, R=8, Y=2, was 9567+1085=10652 verifiziert, und stoppte ordnungsgemäß (finish_reason: stop). Die Generierungszeit betrug etwa 5,5 Minuten für beide, mit Geschwindigkeiten von 21,1 t/s (D=0) und 19,8 t/s (D=12), ein ~6%iger Rückgang. Der Artikel stellt fest, dass die Rekurrenz die Gewichte nicht verändert, sondern nur den Inferenzberechnungsgraphen, und listet kompatible Modelle auf, darunter Qwen3.5, Qwen2, Gemma 2, Mistral 3 und Delta-Net (Bonsai).
Quelle: Habr — хаб ИИ —
Original