Cómo construir un RAG local para textos semánticos complejos: cuando la IA en la nube falla y MiniLM se rompe con la filosofía

Un desarrollador creó un sistema RAG local para textos filosóficos de Jane Roberts después de que los modelos de IA en la nube alucinaran y fallaran. Los escaneos crudos se limpiaron, se marcaron en XML con etiquetas de hablante y se dividieron en párrafos. Para los embeddings, multilingual-e5-large superó a all-MiniLM-L6-v2, que mostró una alta deriva semántica en terminología abstracta. El pipeline utiliza ChromaDB para el almacenamiento vectorial y Qwen2.5-14B-coder a través de LM Studio para la generación. Las decisiones clave de ingeniería incluyen el doble enriquecimiento (prefijo 'passage:' para E5, prompt 'Citas de mi libro' para el LLM), el filtrado de direcciones escénicas y el soporte multilingüe. El autor destaca tres preguntas abiertas: si dividir el índice de Chroma en múltiples colecciones a medida que los datos crecen, cómo implementar la memoria de diálogo sin explotar el presupuesto de tokens, y si un reranker de codificador cruzado mejoraría la precisión de recuperación en los 911 fragmentos actuales. El proyecto se publica como un registro de investigación en GitHub.