Needle 2: 14MB İkili Dosyada Açık 45M Parametreli Araç Çağırma Modeli

Cactus Compute, açık kaynak 45M parametreli bir model olan Needle 2'yi yayınladı. Bu model; araç çağırma, cihaz kullanımı ve yapılandırılmış çıkarım için tasarlandı. Modelin tamamı, yaklaşık 28MB RAM kullanarak tam bir oturum çalıştıran tek bir 14MB ikili dosya olarak sunuluyor. Ağırlıklar, Cactus Quants kullanılarak CQ2-bit seviyesinde eğitilip dağıtılıyor ve model, şirketin kendi C++ motorunun içine mühürlenmiş durumda. Bu sayede çalışma zamanı kurulumu gerekmiyor ve çıkarım sırasında indirme yapılmıyor. Bildirilen kod çözme hızı; Raspberry Pi 5'te saniyede 500 token, Meta Quest 3S ve Apple Vision Pro'da saniyede 400-1.500 token ve 200 doların altındaki telefonlarda saniyede 300-700 token. Tasarımın temel varsayımı, dağınık bir cümleyi yazılmış bir fonksiyon imzasına eşlemenin dünya bilgisi veya açık uçlu düzyazı gerektirmediği ve bu nedenle 45M parametrenin yeterli olduğudur. Needle 2; Hadamard MLP, GQA dikkat, engram anahtar-değer belleği ve çok şeritli hiper bağlantılara sahip Basit Dikkat Ağı mimarisini kullanır. Sohbet uzunluğundan bağımsız olarak belleği 28MB civarında tutmak için 256 tokenlik kayan bir pencere ve sabitlenmiş KV havuzları kullanır. Model, beşten fazla araç tanımlandığında yalnızca ilk beş aracı seçen karşıtsal bir çıkarım başlığı içerir ve her yanıt bir güven değeri taşır. Genel fonksiyon çağırma kriterlerindeki değerlendirmeler, Needle 2'nin Seal-Tools bölünmelerinde lider olduğunu ve Mobile Actions'da yüzde 98,3 fonksiyon adı doğruluğu elde ettiğini, ancak BFCL v4 genelinde geride kaldığını gösteriyor. Cactus bunu dağılım farklılıklarına bağlıyor.