Bonsai-27B, özyinelemeli llama.cpp çatalında: RTX 3050 üzerinde tam kurulum ve gerçek kıyaslama
Özyinelemeli llama.cpp çatalı hakkındaki bu üçüncü makale, hibrit Bonsai-27B modelini (Delta-Net doğrusal mimarisi) zayıf bir GPU üzerinde çalıştırmayı kapsıyor ve bir kriptaritmetik görevde D=0 ile D=12 derinliğinin gerçek bir kıyaslamasını gösteriyor. Yinelenme etkinleştirildiğinde (D=12), model SEND+MORE=MONEY bulmacasını çözerken, temel motor başarısız oldu. Kurulum komutları ve yinelenme ortam değişkenleri sağlanmıştır.
cubetitled-ui
Habr — хаб ИИ06.08 · 00:03