Bonsai-27B no fork recursivo do llama.cpp: configuração completa e benchmark real na RTX 3050
Este terceiro artigo sobre um fork recursivo do llama.cpp aborda a execução do modelo híbrido Bonsai-27B (arquitetura linear Delta-Net) em uma GPU fraca, mostrando um benchmark real da profundidade D=0 versus D=12 em uma tarefa de criptaritmética. Com a recorrência habilitada (D=12), o modelo resolveu SEND+MORE=MONEY, enquanto o motor base falhou. São fornecidos comandos de configuração e variáveis de ambiente para recorrência.
cubetitled-ui
Habr — хаб ИИ06.08 · 00:03