जटिल शब्दार्थ पाठों के लिए स्थानीय RAG बनाना: जब क्लाउड AI विफल हो जाता है और MiniLM दर्शनशास्त्र पर टूट जाता है

एक डेवलपर ने जेन रॉबर्ट्स के दार्शनिक ग्रंथों के लिए एक स्थानीय रैग प्रणाली बनाई, जब क्लाउड एआई मॉडल ने भ्रम पैदा किया और विफल रहे। कच्चे स्कैन को साफ किया गया, स्पीकर टैग के साथ एक्सएमएल में चिह्नित किया गया, और पैराग्राफ द्वारा खंडित किया गया। एम्बेडिंग के लिए, मल्टीलिंगुअल-ई5-लार्ज ने ऑल-मिनील्म-एल6-वी2 से बेहतर प्रदर्शन किया, जिसने अमूर्त शब्दावली पर उच्च अर्थ संबंधी बहाव दिखाया। पाइपलाइन वेक्टर भंडारण के लिए क्रोमाडीबी और उत्पादन के लिए एलएम स्टूडियो के माध्यम से क्यूवेन2.5-14बी-कोडर का उपयोग करती है। मुख्य इंजीनियरिंग निर्णयों में दोहरी संवर्धन (ई5 के लिए 'पैसेज:' उपसर्ग, एलएलएम के लिए 'मेरी पुस्तक से उद्धरण' संकेत), मंच निर्देश प्रकार की प्रस्तुति को फ़िल्टर करना, और बहु-भाषा समर्थन शामिल हैं। लेखक तीन खुले प्रश्नों पर प्रकाश डालते हैं: डेटा बढ़ने पर क्रोमा इंडेक्स को कई संग्रहों में विभाजित करना है या नहीं, संवाद स्मृति को लागू करना जो टोकन बजट को बढ़ाए बिना कैसे संभव है, और क्या एक क्रॉस-एनकोडर रीरैंकर वर्तमान 911 चंक्स पर पुनर्प्राप्ति सटीकता में सुधार करेगा। परियोजना को गिटहब पर एक शोध लॉग के रूप में प्रकाशित किया गया है।