Needle 2：一个开源的4500万参数工具调用模型，打包在14MB的二进制文件中

Cactus Computeは、ツール呼び出し、デバイス操作、構造化抽出のためのオープンソースの45Mパラメータモデル「Needle 2」をリリースした。このモデル全体は、単一の14MBバイナリとして提供され、約28MBのRAMで完全なセッションを実行する。重みはCactus Quantsを使用してCQ2ビットでトレーニングおよびデプロイされ、モデルは同社独自のC++エンジン内に封入されているため、ランタイムのインストールは不要で、推論時のダウンロードもない。報告されたデコードスループットは、Raspberry Pi 5で毎秒500トークン、Meta Quest 3SとApple Vision Proで毎秒400〜1,500トークン、200ドル未満のスマートフォンで毎秒300〜700トークンである。設計思想は、雑然とした文を型付き関数シグネチャにマッピングするには、世界知識も自由形式の散文も不要であるため、45Mパラメータで十分であるというものだ。Needle 2は、Hadamard MLP、GQAアテンション、エングラムキーバリューメモリ、マルチレーンハイパーコネクションを備えたSimple Attention Networkアーキテクチャを使用している。256トークンのスライディングウィンドウとピン留めされたKVシンクを使用して、会話の長さに関係なくメモリを約28MBに保つ。このモデルには、対照的検索ヘッドが含まれており、5つ以上のツールが宣言されている場合に上位5つのツールのみを選択し、すべての応答には信頼度値が付随する。公開の関数呼び出しベンチマークでの評価では、Needle 2がSeal-Tools分割の両方でリードし、Mobile Actionsで98.3の関数名精度を記録したが、BFCL v4の全体的なスコアでは劣っており、Cactusはこれを分布の違いに起因している。