Bonsai-27B auf rekursivem llama.cpp-Fork: vollständige Einrichtung und echter Benchmark auf RTX 3050
Dieser dritte Artikel über einen rekursiven llama.cpp-Fork behandelt die Ausführung des hybriden Bonsai-27B-Modells (Delta-Net-lineare Architektur) auf einer schwachen GPU und zeigt einen echten Benchmark der Tiefe D=0 gegenüber D=12 bei einer kryptarithmetischen Aufgabe. Mit aktivierter Rekurrenz (D=12) löste das Modell SEND+MORE=MONEY, während die Basis-Engine scheiterte. Einrichtungsbefehle und Umgebungsvariablen für die Rekurrenz werden bereitgestellt.
cubetitled-ui
Habr — хаб ИИ06.08 · 00:03