複雑な意味論的テキストのためのローカルRAG構築：クラウドAIが失敗し、MiniLMが哲学で壊れるとき

ある開発者は、クラウドAIモデルが幻覚を起こして失敗した後、ジェーン・ロバーツの哲学テキストを対象としたローカルRAGシステムを構築した。生のスキャンデータはクリーニングされ、話者タグ付きのXMLでマークアップされ、段落ごとにチャンク化された。埋め込みには、multilingual-e5-largeがall-MiniLM-L6-v2を上回る性能を示した。all-MiniLM-L6-v2は抽象的な用語に対して意味的なドリフトが大きかった。パイプラインは、ベクトルストレージにChromaDB、生成にLM Studio経由のQwen2.5-14B-coderを使用している。主要なエンジニアリング上の決定には、二重エンリッチメント（E5用の「passage:」プレフィックス、LLM用の「Quotes from my book」プロンプト）、ト書きのような口調のフィルタリング、多言語サポートが含まれる。著者は、データが増えた場合にChromaインデックスを複数のコレクションに分割すべきか、トークン予算を爆発させずに対話メモリを実装する方法、現在の911チャンクに対してクロスエンコーダーによるリランカーが検索精度を向上させるかどうか、という3つの未解決の問いを挙げている。このプロジェクトはGitHubで研究ログとして公開されている。