Yerel RAG ile karmaşık semantik metinler: bulut yapay zekâsının yetersiz kaldığı ve MiniLM’in felsefede çuvalladığı durumlar
Sentence-Transformers (UKPLab)
LM Studio
Bir geliştirici, Jane Roberts’ın felsefi metinleri için yerel bir RAG hattı kurduğunu anlatıyor. Bu süreçte multilingual-e5-large embedding modelleri ve LM Studio üzerinden Qwen2.5 kullanılmış. Proje; veri hazırlama, işaretleme, parçalama ve geri getirme aşamalarını içeriyor. Yazar, Chroma indeks mimarisi, diyalog durumu yönetimi ve yeniden sıralayıcı kullanımı konularında topluluktan geri bildirim bekliyor.
Bir geliştirici, bulut yapay zeka modellerinin halüsinasyon görmesi ve başarısız olması üzerine Jane Roberts'ın felsefi metinleri için yerel bir RAG sistemi kurdu. Ham taramalar temizlendi, konuşmacı etiketleriyle XML olarak işaretlendi ve paragraflara bölündü. Gömmeler için, multilingual-e5-large, soyut terminolojide yüksek anlamsal sapma gösteren all-MiniLM-L6-v2'den daha iyi performans gösterdi. Boru hattı, vektör depolama için ChromaDB ve üretim için LM Studio aracılığıyla Qwen2.5-14B-coder kullanıyor. Temel mühendislik kararları arasında çift zenginleştirme (E5 için 'passage:' öneki, LLM için 'Kitabımdan Alıntılar' istemi), sahne talimatı türündeki teslimatların filtrelenmesi ve çoklu dil desteği yer alıyor. Yazar, üç açık soruyu vurguluyor: veriler büyüdükçe Chroma endeksinin birden çok koleksiyona bölünüp bölünmeyeceği, token bütçesini patlatmadan diyalog hafızasının nasıl uygulanacağı ve çapraz kodlayıcı bir yeniden sıralayıcının mevcut 911 parça üzerinde alma doğruluğunu artırıp artırmayacağı. Proje, GitHub'da bir araştırma günlüğü olarak yayınlandı.
Kaynak: Habr — хаб ИИ —
orijinal