Needle 2: نموذج مفتوح بـ 45 مليون معلمة لاستدعاء الأدوات في ملف ثنائي بحجم 14 ميجابايت

أصدرت Cactus Compute نموذج Needle 2، وهو نموذج مفتوح المصدر بحجم 45 مليون معلمة، مصمم لاستدعاء الأدوات، واستخدام الأجهزة، والاستخراج المنظم. يُشحن النموذج بالكامل كملف ثنائي واحد بحجم 14 ميغابايت، ويشغّل جلسة كاملة في حوالي 28 ميغابايت من الذاكرة العشوائية. تم تدريب الأوزان ونشرها بدقة CQ2-bit باستخدام تقنية Cactus Quants، والنموذج مغلف داخل محرك C++ الخاص بالشركة، لذلك لا حاجة لتثبيت بيئة تشغيل ولا تنزيل أثناء الاستدلال. يبلغ معدل فك الترميز المعلن عنه 500 رمز في الثانية على Raspberry Pi 5، و400 إلى 1500 رمز في الثانية على Meta Quest 3S وApple Vision Pro، و300 إلى 700 رمز في الثانية على هواتف يقل سعرها عن 200 دولار. الفرضية الأساسية في التصميم هي أن تحويل جملة غير منظمة إلى توقيع دالة نمطي لا يتطلب معرفة بالعالم ولا نثرًا مفتوحًا، لذا فإن 45 مليون معلمة كافية. يستخدم Needle 2 بنية Simple Attention Network مع Hadamard MLP، واهتمام GQA (اهتمام استعلامي جماعي)، وذاكرة engram للمفاتيح والقيم، واتصالات متعددة المسارات. كما يستخدم نافذة منزلقة من 256 رمزًا ويُثبت نقاط KV لتقليل الذاكرة إلى حوالي 28 ميغابايت بغض النظر عن طول المحادثة. يتضمن النموذج رأس استرجاع تبايني يختار أفضل خمس أدوات فقط عندما يكون هناك أكثر من خمس أدوات معلنة، وتحتوي كل استجابة على قيمة ثقة. يُظهر التقييم على معايير استدعاء الدوال العامة أن Needle 2 يتصدر في تقسيمات Seal-Tools ويحقق دقة بنسبة 98.3% في اسم الدالة على Mobile Actions، لكنه يتخلف في BFCL v4 بشكل عام، وهو ما تعزوه Cactus إلى اختلافات التوزيع.