Bonsai-27B op recursieve llama.cpp-fork: volledige installatie en echte benchmark op RTX 3050
Dit derde artikel over een recursieve llama.cpp-fork behandelt het draaien van het hybride Bonsai-27B-model (Delta-Net lineaire architectuur) op een zwakke GPU, met een echte benchmark van diepte D=0 versus D=12 bij een cryptaritmetische taak. Met recursie ingeschakeld (D=12) loste het model SEND+MORE=MONEY op, terwijl de basismotor faalde. Installatiecommando's en omgevingsvariabelen voor recursie worden verstrekt.
cubetitled-ui
Habr — хаб ИИ06.08 · 00:03