Needle 2: Model Pemanggilan Alat Terbuka 45M Parameter dalam Binari 14MB

Cactus Compute telah merilis Needle 2, sebuah model open-source dengan 45 juta parameter untuk pemanggilan alat (tool calling), penggunaan perangkat, dan ekstraksi terstruktur. Seluruh model dikemas dalam satu biner berukuran 14MB yang menjalankan sesi penuh hanya dengan sekitar 28MB RAM. Bobot dilatih dan digunakan pada kuantisasi CQ2-bit menggunakan Cactus Quants, dan model disegel di dalam mesin C++ milik perusahaan itu sendiri, sehingga tidak ada runtime yang perlu diinstal dan tidak ada unduhan saat inferensi. Throughput decode yang dilaporkan adalah 500 token per detik pada Raspberry Pi 5, 400–1.500 token per detik pada Meta Quest 3S dan Apple Vision Pro, serta 300–700 token per detik pada ponsel di bawah 200 dolar AS. Premis desainnya adalah bahwa memetakan kalimat yang tidak terstruktur ke dalam tanda tangan fungsi yang bertipe tidak membutuhkan pengetahuan dunia atau prosa terbuka, jadi 45 juta parameter sudah cukup. Needle 2 menggunakan arsitektur Simple Attention Network dengan Hadamard MLP, perhatian GQA, memori engram key-value, dan koneksi hiper multi-jalur. Model ini menggunakan jendela geser 256 token dan KV sink yang disematkan untuk menjaga memori tetap sekitar 28MB berapa pun panjang percakapan. Model ini menyertakan kepala pengambilan kontrastif yang hanya memilih lima alat teratas ketika lebih dari lima alat dideklarasikan, dan setiap respons membawa nilai keyakinan. Evaluasi pada tolok ukur pemanggilan fungsi publik menunjukkan Needle 2 memimpin dalam kedua split Seal-Tools dan mencapai akurasi nama fungsi 98,3 pada Mobile Actions, tetapi tertinggal pada BFCL v4 secara keseluruhan, yang oleh Cactus diatribusikan pada perbedaan distribusi.