MCP sem a nuvem
O artigo descreve um uso alternativo do MCP (Model Context Protocol, ou Protocolo de Contexto de Modelo) para fornecer a um modelo acesso a um grande arquivo de documentos locais. Em vez do RAG clássico, é proposta uma estrutura de índices (index.md e subindex.md), que permite ao modelo recuperar apenas os fragmentos necessários, reduzindo o contexto e os tokens e evitando a nuvem. O autor apresenta sua própria implementação – a ferramenta DocShelf, que converte PDFs em Markdown, divide-os em seções, constrói um índice, armazena-o no Git e conecta-se via MCP, com um exemplo de todo o pipeline.
O autor argumenta que o MCP não serve apenas para agentes, mas pode ser usado para outros propósitos, como implementar a recuperação de uma grande coleção de documentos locais. Foi considerado o RAG clássico, mas ele exige infraestrutura significativa (modelos de incorporação, bancos de dados vetoriais, reindexação agendada) e não oferece transparência para auditar por que o modelo escolheu determinado fragmento. Em vez disso, propõe-se usar um arquivo de índice (ideia do llms.txt) que funciona como um sumário: o modelo primeiro lê o índice, depois o subíndice e só então busca a seção específica de um documento. O autor criou a ferramenta DocShelf, um servidor MCP que converte PDF para Markdown, limpa o conteúdo, divide em seções, cria index.md e subindex.md, armazena tudo no Git e conecta ao modelo. O pipeline é o seguinte: PDF para Markdown, depois divisão em seções, depois construção do índice, depois salvamento no Git, depois via servidor MCP para o LLM. O modelo consome apenas uma fração mínima do arquivo total: no exemplo com um acervo de 85 MB, foram usados cerca de 16,5 KB de contexto. O artigo também destaca armadilhas comuns: problemas na extração de PDF, corrupção de cirílico, estrutura pobre de Markdown e fornece uma tabela de solução de problemas. Dois conversores estão disponíveis: pymupdf4llm (rápido, sem GPU) e marker-pdf (para casos complexos, mas pesado). O DocShelf suporta Git como armazenamento, versionamento e revisão, e pode funcionar em redes fechadas. O autor conclui que essa abordagem é uma alternativa viável ao RAG clássico em cenários em que são necessárias auditorias e o corpus é local.
Fonte: Habr — хаб ИИ —
original
