MCP ilman pilveä
Artikkelissa kuvataan vaihtoehtoinen tapa käyttää MCP:tä (Model Context Protocol) tarjoamaan mallille pääsy suureen paikalliseen dokumenttiarkistoon. Klassisen RAG-menetelmän sijaan ehdotetaan indeksirakennetta (index.md ja subindex.md), jonka avulla malli voi hakea vain tarvittavat osat, mikä vähentää kontekstia ja tokenien määrää sekä välttää pilven. Kirjoittaja esittelee oman toteutuksensa – DocShelf-työkalun, joka muuntaa PDF-tiedostot Markdown-muotoon, jakaa ne osioihin, rakentaa indeksin, tallentaa sen Git-versionhallintaan ja yhdistää MCP:n kautta, ja antaa esimerkin koko putkilinjasta.
Kirjoittaja väittää, että MCP ei ole tarkoitettu vain agenteille, vaan sitä voidaan käyttää myös muihin tarkoituksiin, kuten suuren paikallisen asiakirjakokoelman hakujen toteuttamiseen. Klassista RAG-menetelmää harkittiin, mutta se vaatii merkittävää infrastruktuuria (upotusmallit, vektoritietokannat, aikataulutettu uudelleenindeksointi) eikä tarjoa läpinäkyvyyttä tarkastukselle, miksi malli valitsi tietyn katkelman. Sen sijaan ehdotetaan käytettäväksi indeksitiedostoa (llms.txt-idea), joka toimii sisällysluettelona: malli lukee ensin indeksin, sitten alaindeksin ja vasta sitten hakee tietyn asiakirjan osion. Kirjoittaja loi DocShelf-työkalun, MCP-palvelimen, joka muuntaa PDF:n Markdowniksi, siivoaa sen, jakaa sen osioihin, luo index.md- ja subindex.md-tiedostot, tallentaa kaiken Gitiin ja yhdistää sen malliin. Putki on seuraava: PDF:stä Markdowniin, sitten jakaminen osioihin, sitten indeksin rakentaminen, sitten tallennus Gitissä, sitten MCP-palvelimen kautta LLM:ään. Malli kuluttaa vain pienen osan koko arkistosta: esimerkissä, jossa hylly oli 85 megatavua, käytettiin noin 16,5 kilotavua kontekstia. Artikkelissa tuodaan esiin myös yleisiä sudenkuoppia: PDF-jäsentämisongelmat, kyrillisten merkkien vääristyminen, huono Markdown-rakenne, ja annetaan vianmääritystaulukko. Käytettävissä on kaksi muunninta: pymupdf4llm (nopea, ei vaadi GPU:ta) ja marker-pdf (monimutkaisiin tapauksiin, mutta raskas). DocShelf tukee Git-tallennusta, versionhallintaa ja tarkistusta, ja se voi toimia suljetuissa verkoissa. Kirjoittaja päättelee, että tämä lähestymistapa on toimiva vaihtoehto klassiselle RAG:lle skenaarioissa, joissa tarvitaan tarkastuksia ja korpus on paikallinen.
Lähde: Habr — хаб ИИ —
Alkuperäinen