जटिल शब्दार्थ पाठों के लिए स्थानीय RAG बनाना: जब क्लाउड AI विफल हो जाता है और MiniLM दर्शनशास्त्र पर टूट जाता है
एक डेवलपर जेन रॉबर्ट्स के दार्शनिक ग्रंथों के लिए स्थानीय RAG पाइपलाइन बनाने का वर्णन करता है, जिसमें multilingual-e5-large एम्बेडिंग्स और LM Studio के माध्यम से Qwen2.5 का उपयोग किया गया है। परियोजना में डेटा तैयारी, मार्क-अप, चंकिंग और पुनर्प्राप्ति शामिल है। लेखक Chroma इंडेक्स आर्किटेक्चर, संवाद स्थिति प्रबंधन और रिरैंकर उपयोग पर सामुदायिक प्रतिक्रिया चाहता है।
Sentence-Transformers (UKPLab)
LM Studio
Habr — хаб ИИ30.07 · 15:01