Bonsai-27B trên nhánh llama.cpp đệ quy: thiết lập đầy đủ và benchmark thực tế trên RTX 3050
Bài viết thứ ba về nhánh llama.cpp đệ quy này trình bày cách chạy mô hình lai Bonsai-27B (kiến trúc tuyến tính Delta-Net) trên GPU yếu, cùng với benchmark thực tế về độ sâu D=0 so với D=12 trong bài toán số học viết tay. Khi kích hoạt đệ quy (D=12), mô hình giải được SEND+MORE=MONEY, trong khi engine cơ bản thất bại. Các lệnh thiết lập và biến môi trường cho đệ quy cũng được cung cấp.
cubetitled-ui
Habr — хаб ИИ06.08 · 00:03