Een lokale RAG bouwen voor complexe semantische teksten: wanneer cloud-AI faalt en MiniLM breekt op filosofie

Een ontwikkelaar bouwde een lokaal RAG-systeem voor filosofische teksten van Jane Roberts nadat cloud-AI-modellen hallucineerden en faalden. Ruwe scans werden opgeschoond, opgemaakt in XML met spreker-tags en opgedeeld in paragrafen. Voor embeddings presteerde multilingual-e5-large beter dan all-MiniLM-L6-v2, dat een hoge semantische drift vertoonde bij abstracte terminologie. De pipeline gebruikt ChromaDB voor vectoropslag en Qwen2.5-14B-coder via LM Studio voor generatie. Belangrijke technische beslissingen omvatten dubbele verrijking (passage: prefix voor E5, Quotes from my book prompt voor LLM), het filteren van regieaanwijzingen-achtige levering en meertalige ondersteuning. De auteur belicht drie open vragen: of het Chroma-index moet worden gesplitst in meerdere collecties naarmate de data groeit, hoe dialooggeheugen kan worden geïmplementeerd zonder het tokenbudget te laten exploderen, en of een cross-encoder reranker de retrieval-nauwkeurigheid zou verbeteren bij de huidige 911 chunks. Het project is gepubliceerd als onderzoeklogboek op GitHub.