न्यूरल नेटवर्क टोकन क्यों खाते हैं: लंबी चैट में क्या होता है और लागत कैसे घटाएं

यह लेख चर्चा करता है कि लंबी चैट में AI मॉडल अत्यधिक टोकन क्यों खपत करते हैं और लागत कैसे कम करें। यह Reddit के किस्सों का हवाला देता है: एक उपयोगकर्ता ने Claude के साथ 1.156 बिलियन इनपुट टोकन जला दिए, दूसरा एक Claude Code एजेंट को रोकना भूल गया जो हर 30 मिनट में पुल रिक्वेस्ट की जाँच करता था, 26 घंटे तक, कुल 46 रन और लगभग 6000 डॉलर की लागत आई। उच्च लागत का तकनीकी कारण यह है कि हर नए अनुरोध में पूरा संचित संदर्भ शामिल होता है, जो 800k टोकन तक बढ़ सकता है। Anthropic अपने दस्तावेज़ों में चेतावनी देता है कि संदर्भ आकार के साथ लागत बढ़ती है और इतिहास साफ़ करने या संघनन का उपयोग करने की सलाह देता है। Chroma ('Context Rot') और 2026 के एक अध्ययन ('Diagnosing and Mitigating Context Rot') के शोध से पता चलता है कि लंबे इनपुट के साथ प्रदर्शन बिगड़ता है, संदर्भ विंडो सीमा से पहले भी, खासकर distracting जानकारी के साथ। प्रॉम्प्ट कैशिंग केवल दोहराए गए प्रीफिक्स के लिए लागत कम करता है, अनावश्यक संदर्भ की समस्याओं के लिए नहीं। AI एजेंटों के लिए, लागत छिपी होती है क्योंकि वे स्वायत्त रूप से कई टूल ऑपरेशन करते हैं। व्यावहारिक सुझावों में स्वतंत्र कार्यों को विभाजित करना, Claude Code में /clear और /compact का उपयोग करना, केवल प्रासंगिक दस्तावेज़ अनुभाग देना, स्थिर निर्देशों को कैश करना, और सही मॉडल टियर चुनना (कोडिंग के लिए Sonnet, जटिल तर्क के लिए Opus, सरल उप-एजेंट कार्यों के लिए Haiku) शामिल हैं। लेखक SYNTX.AI के LLM Studio का भी प्रचार करता है, जो 100 से अधिक AI मॉडल और एक संवाद के भीतर मॉडल बदलने की क्षमता प्रदान करता है, प्रोमो कोड CTRLAI के साथ 20% छूट। लेख निष्कर्ष निकालता है कि प्रॉम्प्ट इंजीनियरिंग में अब अनावश्यक जानकारी को हटाना शामिल होना चाहिए।