MCP zonder de cloud
Het artikel beschrijft een alternatief gebruik van MCP (Model Context Protocol) om een model toegang te geven tot een grote lokale documentenarchief. In plaats van klassieke RAG wordt een structuur van indexen (index.md en subindex.md) voorgesteld, waarmee het model alleen de benodigde fragmenten kan ophalen, waardoor context en tokens worden verminderd en de cloud wordt vermeden. De auteur presenteert zijn eigen implementatie – de DocShelf-tool, die PDF's omzet naar Markdown, ze in secties splitst, een index bouwt, opslaat in Git en verbindt via MCP, met een voorbeeld van de hele pijplijn.
De auteur betoogt dat MCP niet alleen voor agents is, maar ook voor andere doeleinden kan worden gebruikt, zoals het implementeren van het ophalen van gegevens uit een grote lokale documentencollectie. Klassieke RAG werd overwogen, maar vereist aanzienlijke infrastructuur (embeddingmodellen, vectordatabases, geplande herindexering) en biedt geen transparantie voor het auditen van waarom het model een bepaald fragment koos. In plaats daarvan wordt voorgesteld om een indexbestand (het llms.txt-idee) te gebruiken dat fungeert als een inhoudsopgave: het model leest eerst de index, daarna de subindex, en pas daarna haalt het het specifieke gedeelte van een document op. De auteur creëerde de DocShelf-tool, een MCP-server die PDF naar Markdown converteert, opschoont, in secties splitst, index.md en subindex.md maakt, alles in Git opslaat en verbindt met het model. De pijplijn is als volgt: PDF naar Markdown, daarna splitsen in secties, dan indexconstructie, dan opslaan in Git, dan via MCP-server naar LLM. Het model verbruikt slechts een klein deel van het totale archief: in het voorbeeld met een plank van 85 MB werd ongeveer 16,5 KB aan context gebruikt. Het artikel belicht ook veelvoorkomende valkuilen: PDF-parsingproblemen, Cyrillische corruptie, slechte Markdown-structuur, en geeft een tabel voor probleemoplossing. Twee converters zijn beschikbaar: pymupdf4llm (snel, geen GPU) en marker-pdf (voor complexe gevallen, maar zwaar). DocShelf ondersteunt Git als opslag, versiebeheer en review, en kan werken in gesloten netwerken. De auteur concludeert dat deze benadering een levensvatbaar alternatief is voor klassieke RAG in scenario's waar audits nodig zijn en het corpus lokaal is.
Bron: Habr — хаб ИИ —
origineel