Cactus Compute

Needle 2: een open model met 45M parameters voor toolaanroepen in een binair bestand van 14MB

Cactus Compute heeft Needle 2 uitgebracht, een open model met 45M parameters voor toolaanroepen, apparaatgebruik en gestructureerde extractie. Het model wordt geleverd als een binair bestand van 14MB, draait in ongeveer 28MB RAM en haalt een hoge doorvoer op edge-apparaten. Het leidt op Seal-Tools-benchmarks maar blijft achter op BFCL v4.

Cactus Compute