MCP sin la nube
El artículo describe un uso alternativo de MCP (Protocolo de Contexto de Modelo) para proporcionar a un modelo acceso a un gran archivo de documentos locales. En lugar del clásico RAG, se propone una estructura de índices (index.md y subindex.md) que permite al modelo recuperar solo los fragmentos necesarios, reduciendo el contexto y los tokens, y evitando la nube. El autor presenta su propia implementación: la herramienta DocShelf, que convierte PDFs a Markdown, los divide en secciones, construye un índice, lo almacena en Git y se conecta mediante MCP, con un ejemplo de todo el proceso.
El autor argumenta que MCP no es solo para agentes, sino que puede utilizarse para otros fines, como implementar la recuperación de información de una gran colección de documentos locales. Se consideró el RAG clásico, pero requiere una infraestructura significativa (modelos de embedding, bases de datos vectoriales, reindexación programada) y no proporciona transparencia para auditar por qué el modelo eligió un fragmento particular. En su lugar, se propone utilizar un archivo de índice (idea de llms.txt) que actúa como un índice de contenidos: el modelo primero lee el índice, luego el subíndice, y solo entonces obtiene la sección específica de un documento. El autor creó la herramienta DocShelf, un servidor MCP que convierte PDF a Markdown, lo limpia, lo divide en secciones, crea index.md y subindex.md, lo guarda todo en Git y lo conecta al modelo. El flujo de trabajo es el siguiente: PDF a Markdown, luego división en secciones, luego construcción del índice, luego guardado en Git, luego a través del servidor MCP hasta el LLM. El modelo consume solo una fracción mínima del archivo total: en el ejemplo con una estantería de 85 MB, se utilizaron aproximadamente 16.5 KB de contexto. El artículo también destaca errores comunes: problemas de análisis de PDF, corrupción de caracteres cirílicos, estructura deficiente de Markdown, y proporciona una tabla de resolución de problemas. Hay dos convertidores disponibles: pymupdf4llm (rápido, sin GPU) y marker-pdf (para casos complejos, pero pesado). DocShelf admite Git como almacenamiento, control de versiones y revisión, y puede funcionar en redes cerradas. El autor concluye que este enfoque es una alternativa viable al RAG clásico en escenarios donde se necesitan auditorías y el corpus es local.
Fuente: Habr — хаб ИИ —
original