Needle 2: Ein offenes Modell mit 45 Millionen Parametern für Werkzeugaufrufe in einer 14-MB-Binärdatei

Cactus Compute hat Needle 2 veröffentlicht, ein offenes Modell mit 45 Millionen Parametern für Tool-Aufrufe, Gerätenutzung und strukturierte Extraktion. Das gesamte Modell wird als einzelne 14-MB-Binärdatei ausgeliefert, die eine vollständige Sitzung mit etwa 28 MB RAM ausführt. Die Gewichte werden mit Cactus Quants auf CQ2-Bit trainiert und bereitgestellt, und das Modell ist in der eigenen C++-Engine des Unternehmens versiegelt, sodass keine Laufzeit installiert werden muss und keine Downloads zur Inferenzzeit erforderlich sind. Die berichtete Decode-Durchsatzrate beträgt 500 Token pro Sekunde auf einem Raspberry Pi 5, 400–1.500 Token pro Sekunde auf Meta Quest 3S und Apple Vision Pro sowie 300–700 Token pro Sekunde auf Smartphones unter 200 US-Dollar. Das Designprinzip besteht darin, dass die Zuordnung eines unübersichtlichen Satzes zu einer typisierten Funktionssignatur kein Weltwissen und keine offene Prosa erfordert, daher sind 45 Millionen Parameter ausreichend. Needle 2 verwendet eine Simple-Attention-Network-Architektur mit einem Hadamard-MLP, GQA-Aufmerksamkeit, Engram-Key-Value-Speicher und mehrspurigen Hyperverbindungen. Es verwendet ein gleitendes Fenster von 256 Token und festgepinnte KV-Sinks, um den Speicher unabhängig von der Gesprächslänge bei etwa 28 MB zu halten. Das Modell enthält einen kontrastiven Retrieval-Kopf, der nur die fünf besten Tools auswählt, wenn mehr als fünf deklariert sind, und jede Antwort trägt einen Konfidenzwert. Die Bewertung auf öffentlichen Funktionsaufruf-Benchmarks zeigt, dass Needle 2 beide Seal-Tools-Datensätze anführt und eine Funktionsnamen-Genauigkeit von 98,3 % bei Mobile Actions erreicht, aber bei BFCL v4 insgesamt hinterherhinkt, was Cactus auf Verteilungsunterschiede zurückführt.