Needle 2: avoin 45 miljoonan parametrin työkalujen kutsuntaan tarkoitettu malli 14 megatavun binääritiedostona

Cactus Compute on julkaissut Needle 2:n, avoimen 45 miljoonan parametrin mallin, joka on tarkoitettu työkalujen kutsumiseen, laitteen käyttöön ja rakenteelliseen erittelyyn. Koko malli toimitetaan yhtenä 14 megatavun binaaritiedostona, joka suorittaa koko istunnon noin 28 megatavun keskusmuistissa. Painot on koulutettu ja otettu käyttöön CQ2-bitillä käyttäen Cactus Quants -menetelmää, ja malli on suljettu yrityksen omaan C++-moottoriin, joten asennusaikaista suoritusympäristöä ei ole eikä latausta tarvita päättelyvaiheessa. Raportoitu dekoodauksen suorituskyky on 500 tokenia sekunnissa Raspberry Pi 5:llä, 400–1 500 tokenia sekunnissa Meta Quest 3S:llä ja Apple Vision Prolla sekä 300–700 tokenia sekunnissa alle 200 dollarin puhelimilla. Suunnittelun perusajatus on, että epäselvän lauseen kartoittaminen tyypitettyyn funktion allekirjoitukseen ei vaadi maailmantietoa eikä avointa proosaa, joten 45 miljoonaa parametria riittää. Needle 2 käyttää Simple Attention Network -arkkitehtuuria, jossa on Hadamard-MLP, GQA-huomio, engram-avainarvo-muisti ja monikaistaiset hyperyhteydet. Se käyttää 256 tokenin liukuvaa ikkunaa ja kiinnitettyjä KV-uppoja pitääkseen muistin noin 28 megatavussa keskustelun pituudesta riippumatta. Malliin sisältyy kontrastinen hakupää, joka valitsee vain viisi parasta työkalua, kun työkaluja on ilmoitettu enemmän kuin viisi, ja jokainen vastaus sisältää luottamusarvon. Julkisten funktionkutsujen vertailuarvojen arviointi osoittaa, että Needle 2 johtaa molempia Seal-Tools-jakoja ja saavuttaa 98,3 prosentin funktionimen tarkkuuden Mobile Actions -testissä, mutta jää jälkeen BFCL v4 -kokonaisuudessa, minkä Cactus selittää jakautumien eroilla.