Needle 2: Mô hình gọi công cụ mã nguồn mở 45 triệu tham số trong tệp nhị phân 14MB

Cactus Compute đã phát hành Needle 2, một mô hình mã nguồn mở 45 triệu tham số cho việc gọi công cụ, sử dụng thiết bị và trích xuất có cấu trúc. Toàn bộ mô hình được đóng gói trong một tệp nhị phân duy nhất 14MB, chạy một phiên đầy đủ trong khoảng 28MB RAM. Trọng số được huấn luyện và triển khai ở mức CQ2-bit bằng Cactus Quants, và mô hình được niêm phong bên trong công cụ C++ của chính công ty, do đó không cần cài đặt runtime và không cần tải xuống tại thời điểm suy luận. Thông lượng giải mã được báo cáo là 500 token/giây trên Raspberry Pi 5, 400–1.500 token/giây trên Meta Quest 3S và Apple Vision Pro, và 300–700 token/giây trên điện thoại dưới 200 đô la. Tiền đề thiết kế là việc ánh xạ một câu lộn xộn thành một chữ ký hàm có kiểu dữ liệu không cần kiến thức thế giới và không cần văn xuôi mở, vì vậy 45 triệu tham số là đủ. Needle 2 sử dụng kiến trúc Mạng Chú ý Đơn giản với MLP Hadamard, chú ý GQA, bộ nhớ khóa-giá trị engram và kết nối siêu đa làn. Mô hình sử dụng cửa sổ trượt 256 token và các điểm neo KV cố định để giữ bộ nhớ gần 28MB bất kể độ dài hội thoại. Mô hình bao gồm một đầu truy xuất đối sánh (contrastive retrieval head) chỉ chọn năm công cụ hàng đầu khi có hơn năm công cụ được khai báo, và mọi phản hồi đều mang giá trị độ tin cậy. Đánh giá trên các benchmark gọi hàm công khai cho thấy Needle 2 dẫn đầu cả hai phân bổ Seal-Tools và đạt độ chính xác tên hàm 98,3 trên Mobile Actions, nhưng lại thấp hơn trên BFCL v4 tổng thể, mà Cactus cho là do khác biệt về phân bố dữ liệu.