Token Saver: avoimen lähdekoodin MCP-laajennus vähentää Claude PDF -token-kustannuksia 90–99 % paikallisen hybridi-RAGin avulla

Marktechpostin tekoälytiimi julkaisi Token Saver -nimisen avoimen lähdekoodin MCP-laajennuksen Claude Desktopille (MIT-lisenssi, versio 1.0), jonka ovat kehittäneet Arnav Rai, Jean-marc Mommessin ja Asif Razzaq. Token Saver toimii paikallisena MCP-palvelimena, joka käyttää Local Hybrid RAG -menetelmää (yhdistäen BM25-avainsanhaun ja all-MiniLM-L6-v2-semanttisen haun) hakeakseen PDF-tiedostoista vain oleelliset kohdat, vähentäen tokenien kulutusta 92–99 prosenttia verrattuna koko dokumentin lähettämiseen. Laajennus käsittelee PDF-tiedostot paikallisesti kahdeksanvaiheisella putkella: tekstin erottaminen pypdfium2:lla, jakaminen 180 sanan päällekkäisiksi paloiksi, pisteytys hybridi RAG:lla, laatukontrolli, duplikaattien poisto, tiivistäminen vastaukseksi, 8000 merkin rajoitus ja lopuksi lähteen ja sivunumeron lisäys. Vertailuarvojen mukaan säästöt ovat 95,7 prosenttia 33-sivuisesta FDA-lääkkeen etiketistä, 98,6 prosenttia 88-sivuisesta GDPR-asetuksesta ja 99,4 prosenttia 233-sivuisesta SFFA vastaan Harvard -oikeustapauksesta. Turvallisuus taataan nollakäyttäjän latauksilla, kansioiden sallimislistalla ja verkon eristämisellä (vain stdio). Token Saver toimii Claude 3.5 Sonnetin (suositeltu) ja Opuksen kanssa. Asennus vaatii vain .mcpb-paketin lataamisen ja sen asentamisen Claude Desktopiin ilman Python- tai terminaalikonfiguraatiota.