Needle 2: een open model met 45M parameters voor toolaanroepen in een binair bestand van 14MB

Cactus Compute heeft Needle 2 uitgebracht, een open model met 45M parameters voor tool calling, apparaatgebruik en gestructureerde extractie. Het hele model wordt geleverd als een enkel binair bestand van 14MB dat een volledige sessie draait in ongeveer 28MB RAM. De gewichten zijn getraind en ingezet op CQ2-bit met behulp van Cactus Quants, en het model is verzegeld in de eigen C++-engine van het bedrijf, dus er is geen runtime om te installeren en geen download tijdens inferentie. De gerapporteerde decodeerdoorvoer is 500 tokens per seconde op een Raspberry Pi 5, 400-1.500 tokens per seconde op Meta Quest 3S en Apple Vision Pro, en 300-700 tokens per seconde op telefoons onder de $200. Het uitgangspunt van het ontwerp is dat het omzetten van een rommelige zin naar een getypeerde functiesignatuur geen wereldkennis of open-ended proza nodig heeft, dus 45M parameters zijn voldoende. Needle 2 gebruikt een Simple Attention Network-architectuur met een Hadamard MLP, GQA-attentie, engram key-value geheugen en multi-lane hyper-verbindingen. Het gebruikt een schuifvenster van 256 tokens en vastgepinde KV-sinks om het geheugen rond de 28MB te houden, ongeacht de lengte van het gesprek. Het model bevat een contrastieve retrievalkop die alleen de top vijf tools selecteert wanneer er meer dan vijf zijn gedeclareerd, en elke respons draagt een vertrouwenswaarde. Evaluatie op openbare function-calling benchmarks laat zien dat Needle 2 leidt op beide Seal-Tools-splits en 98,3 function-naam nauwkeurigheid behaalt op Mobile Actions, maar blijft achter op BFCL v4 in het algemeen, wat Cactus toeschrijft aan distributieverschillen.