Aufbau eines lokalen RAG für komplexe semantische Texte: Wenn Cloud-KI versagt und MiniLM an Philosophie scheitert
Ein Entwickler berichtet vom Aufbau einer lokalen RAG-Pipeline für philosophische Texte von Jane Roberts, unter Verwendung von multilingual-e5-large-Embeddings und Qwen2.5 über LM Studio. Das Projekt umfasst Datenvorbereitung, Markup, Chunking und Abruf. Der Autor sucht Community-Feedback zur Chroma-Index-Architektur, Dialogzustandsverwaltung und Nutzung von Rerankern.
Sentence-Transformers (UKPLab)
LM Studio
Habr — хаб ИИ30.07 · 15:01