Bulut Olmadan MCP
Makale, büyük bir yerel belge arşivine modelin erişimini sağlamak için MCP'nin (Model Bağlam Protokolü) alternatif bir kullanımını anlatıyor. Klasik RAG (Alma Artırılmış Üretim) yerine, modelin yalnızca gerekli parçaları almasını sağlayan, bağlamı ve belirteçleri azaltan ve bulutu ortadan kaldıran bir dizin yapısı (index.md ve subindex.md) öneriliyor. Yazar, kendi uygulaması olan DocShelf aracını sunuyor; bu araç PDF'leri Markdown'a dönüştürür, bunları bölümlere ayırır, bir dizin oluşturur, Git'te saklar ve MCP üzerinden bağlanır; tüm sürecin bir örneğiyle birlikte.
Yazar, MCP'nin yalnızca aracılar için olmadığını, büyük bir yerel belge koleksiyonundan alma işlemi uygulamak gibi başka amaçlar için de kullanılabileceğini savunuyor. Klasik RAG (Retrieval-Augmented Generation) düşünüldü, ancak önemli bir altyapı gerektiriyor (gömme modelleri, vektör veritabanları, zamanlanmış yeniden indeksleme) ve modelin neden belirli bir parçayı seçtiğini denetlemek için şeffaflık sağlamıyor. Bunun yerine, bir içindekiler tablosu görevi gören bir dizin dosyası (llms.txt fikri) kullanılması öneriliyor: model önce dizini, sonra alt dizini okur ve ancak o zaman bir belgenin belirli bölümünü getirir. Yazar, PDF'yi Markdown'a dönüştüren, temizleyen, bölümlere ayıran, index.md ve subindex.md oluşturan, her şeyi Git'te saklayan ve modele bağlayan DocShelf adlı bir MCP sunucusu oluşturdu. İşlem hattı şu şekildedir: PDF'den Markdown'a, ardından bölümlere ayırma, ardından dizin oluşturma, Git'te kaydetme, ardından MCP sunucusu aracılığıyla LLM'ye (Büyük Dil Modeli) aktarma. Model, toplam arşivin yalnızca çok küçük bir bölümünü tüketir: 85 MB'lık bir raf örneğinde yaklaşık 16.5 KB bağlam kullanıldı. Makale ayrıca yaygın tuzakları da vurguluyor: PDF ayrıştırma sorunları, Kiril karakter bozulması, zayıf Markdown yapısı ve bir sorun giderme tablosu veriyor. İki dönüştürücü mevcuttur: pymupdf4llm (hızlı, GPU gerektirmez) ve marker-pdf (karmaşık durumlar için, ancak ağır). DocShelf, Git'i depolama, sürüm oluşturma ve inceleme olarak destekler ve kapalı ağlarda çalışabilir. Yazar, bu yaklaşımın, denetim gerektiren ve külliyatın yerel olduğu senaryolarda klasik RAG'a uygulanabilir bir alternatif olduğu sonucuna varıyor.
Kaynak: Habr — хаб ИИ —
orijinal