Bonsai-27B recursiivisessa llama.cpp-haarassa: täysi asennus ja oikea vertailuarvo RTX 3050:llä
Tämä kolmas artikkeli recursiivisesta llama.cpp-haarasta käsittelee hybridi-Bonsai-27B-mallin (Delta-Net-lineaarinen arkkitehtuuri) suorittamista heikolla GPU:lla, ja esittelee oikean vertailuarvon syvyydestä D=0 vs D=12 kryptaritmeettisessä tehtävässä. Kun toisto on käytössä (D=12), malli ratkaisi SEND+MORE=MONEY-tehtävän, kun taas perusmoottori epäonnistui. Asennuskomennot ja toistomuuttujat on annettu.
cubetitled-ui
Habr — хаб ИИ06.08 · 00:03