टोकन से कार्यों तक: एजेंटिक एआई कैसे बदल रहा है बुनियादी ढांचे का ध्यान

एजेंटिक AI बुनियादी ढांचे की आवश्यकताओं को बदल रहा है: अब मुख्य मीट्रिक उत्पन्न टोकन की संख्या नहीं है, बल्कि पूरे कार्य का सफल समापन है। सरल चैटबॉट के विपरीत, एजेंटिक वर्कफ़्लो में योजना, संदर्भ पुनर्प्राप्ति, उपकरण और एपीआई कॉल (एप्लिकेशन प्रोग्रामिंग इंटरफ़ेस), सैंडबॉक्स्ड कोड निष्पादन, परिणाम सत्यापन और टेलीमेट्री शामिल हैं। पारंपरिक बेंचमार्क जैसे टोकन थ्रूपुट और पहले टोकन तक का समय अब वास्तविक प्रदर्शन को नहीं दर्शाते। इसके बजाय, वर्कफ़्लो मीट्रिक्स की आवश्यकता है: कार्य निष्पादन लागत, उपकरण कॉल विलंबता, सैंडबॉक्स स्टार्टअप समय, और प्रति नोड एजेंट। सेंट्रल प्रोसेसिंग यूनिट (सीपीयू) और हेड नोड, जो रूटिंग, संदर्भ तैयारी, नीतियाँ और टेलीमेट्री का प्रबंधन करता है, ऑर्केस्ट्रेशन में महत्वपूर्ण भूमिका निभाते हैं। हेड नोड विषम AI प्रणाली के लिए एक रणनीतिक नियंत्रण केंद्र बन जाता है। Arm इसे एक प्लेटफ़ॉर्म अवसर के रूप में देखता है और अपनी खुद की Arm AGI CPU चिप का प्रस्ताव रखता है, जो मॉडल के आसपास क्रियाओं को समन्वित करने के लिए अनुकूलित है: मेमोरी प्रबंधन, खोज, उपकरण, एपीआई, रनटाइम वातावरण, सैंडबॉक्स और ऑब्ज़र्वेबिलिटी। लक्ष्य ग्राफ़िक्स प्रोसेसिंग यूनिट (GPU) को बदलना नहीं है, बल्कि केवल टोकन प्रवाह को नहीं, बल्कि पूरे कार्य ग्राफ़ को अनुकूलित करके पूरी विषम प्रणाली को अधिक कुशल बनाना है। भविष्य के बेंचमार्क को मूल्यांकन करना चाहिए कि कोई सिस्टम कितनी जल्दी, सटीक, सुरक्षित और कुशलता से कार्य पूरा करता है।