Создание локального RAG для сложных семантических текстов: когда облачный ИИ не справляется, а MiniLM ломается на философии
Разработчик рассказывает о создании локального конвейера RAG для философских текстов Джейн Робертс, используя эмбеддинги multilingual-e5-large и Qwen2.5 через LM Studio. Проект включает подготовку данных, разметку, разбиение на фрагменты и поиск. Автор ищет обратную связь сообщества по архитектуре индекса Chroma, управлению состоянием диалога и использованию реранкера.
Один разработчик создал локальную систему RAG (retrieval-augmented generation, генерация с дополненным поиском) для философских текстов Джейн Робертс после того, как облачные модели искусственного интеллекта начали выдавать галлюцинации и не справлялись с задачей. Исходные сканы были очищены, размечены в XML с тегами говорящего и разбиты на фрагменты по абзацам. Для эмбеддингов модель
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал