टोकन सेवर: ओपन-सोर्स MCP एक्सटेंशन क्लॉड PDF टोकन लागत को 90-99% तक कम करता है, स्थानीय हाइब्रिड RAG का उपयोग करके

Marktechpost AI टीम ने टोकन सेवर (Token Saver) जारी किया है, जो क्लॉड डेस्कटॉप (Claude Desktop) के लिए एक ओपन-सोर्स MCP एक्सटेंशन है (MIT लाइसेंस, v1.0), जिसे अर्णव राय, ज्यां-मार्क मोमेसिन और आसिफ रज्जाक ने विकसित किया है। टोकन सेवर एक स्थानीय MCP सर्वर के रूप में कार्य करता है जो लोकल हाइब्रिड RAG (BM25 कीवर्ड मिलान और all-MiniLM-L6-v2 के साथ सिमैंटिक सर्च को मिलाकर) का उपयोग करके PDF से केवल प्रासंगिक अनुच्छेदों को पुनर्प्राप्त करता है, जिससे पूरे दस्तावेज़ को भेजने की तुलना में टोकन खपत में 92-99% की कटौती होती है। यह एक्सटेंशन आठ-चरणीय पाइपलाइन के माध्यम से PDF को स्थानीय रूप से प्रोसेस करता है: pypdfium2 के माध्यम से टेक्स्ट निकालना, 180 शब्दों के ओवरलैपिंग अनुभागों में विभाजित करना, हाइब्रिड RAG के साथ स्कोर करना, क्वालिटी गेट लागू करना, डीडुप्लिकेट करना, उत्तर के अनुसार ट्रिम करना, पेलोड को 8000 कैरेक्टर पर सीमित करना, और स्रोत और पेज नंबर के साथ रैप करना। बेंचमार्क से पता चलता है कि 33 पेज के FDA दवा लेबल के लिए 95.7%, 88 पेज के GDPR के लिए 98.6%, और 233 पेज के SFFA बनाम हार्वर्ड के लिए 99.4% की बचत हुई है। सुरक्षा शून्य अपलोड, फ़ोल्डर अनुमतिसूची और नेटवर्क आइसोलेशन (केवल stdio) के माध्यम से सुनिश्चित की जाती है। टोकन सेवर क्लॉड 3.5 सॉनेट (अनुशंसित) और ओपस के साथ काम करता है। सेटअप के लिए केवल .mcpb बंडल डाउनलोड करना और इसे क्लॉड डेस्कटॉप में इंस्टॉल करना आवश्यक है, बिना पाइथन या टर्मिनल कॉन्फ़िगरेशन की आवश्यकता।