Needle 2: 14MB बाइनरी में एक ओपन 45M-पैरामीटर टूल-कॉलिंग मॉडल

कैक्टस कंप्यूट ने नीडल 2 जारी किया है, जो टूल कॉलिंग, डिवाइस उपयोग और संरचित निष्कर्षण के लिए एक ओपन 45M-पैरामीटर मॉडल है। पूरा मॉडल एक एकल 14MB बाइनरी के रूप में आता है जो लगभग 28MB रैम में एक पूर्ण सत्र चलाता है। वजन को कैक्टस क्वांट्स का उपयोग करके CQ2-बिट पर प्रशिक्षित और तैनात किया जाता है, और मॉडल को कंपनी के अपने C++ इंजन के अंदर सील कर दिया जाता है, इसलिए कोई रनटाइम स्थापित करने की आवश्यकता नहीं होती है और अनुमान के समय कोई डाउनलोड नहीं होता है। रिपोर्ट किया गया डिकोड थ्रूपुट रास्पबेरी पाई 5 पर 500 टोकन/सेकंड, मेटा क्वेस्ट 3S और एप्पल विज़न प्रो पर 400–1,500 टोकन/सेकंड, और $200 से कम कीमत वाले फोन पर 300–700 टोकन/सेकंड है। डिज़ाइन की मूल धारणा यह है कि एक गन्दे वाक्य को टाइप किए गए फ़ंक्शन हस्ताक्षर पर मैप करने के लिए दुनिया के ज्ञान या खुले-अंत गद्य की आवश्यकता नहीं होती है, इसलिए 45M पैरामीटर पर्याप्त हैं। नीडल 2 हैडामार्ड एमएलपी, जीक्यूए ध्यान, एनग्राम की-वैल्यू मेमोरी, और मल्टी-लेन हाइपर-कनेक्शन के साथ एक सरल ध्यान नेटवर्क वास्तुकला का उपयोग करता है। यह 256-टोकन स्लाइडिंग विंडो और पिन किए गए केवी सिंक का उपयोग करता है ताकि बातचीत की लंबाई की परवाह किए बिना मेमोरी लगभग 28MB के करीब रहे। मॉडल में एक कंट्रास्टिव रिट्रीवल हेड शामिल है जो पांच से अधिक टूल घोषित होने पर केवल शीर्ष पांच टूल का चयन करता है, और हर प्रतिक्रिया एक आत्मविश्वास मूल्य ले जाती है। सार्वजनिक फ़ंक्शन-कॉलिंग बेंचमार्क पर मूल्यांकन से पता चलता है कि नीडल 2 सील-टूल्स स्प्लिट्स दोनों में अग्रणी है और मोबाइल एक्शन पर 98.3 फ़ंक्शन-नाम सटीकता पोस्ट करता है, लेकिन BFCL v4 समग्र पर पीछे है, जिसे कैक्टस वितरण अंतर के लिए जिम्मेदार ठहराता है।