RAG: замеры важнее кода. История бота, где «правильные» улучшения ухудшили результат
Разработчик создал RAG-бота для модерации крипточатов, но столкнулся с тем, что стандартные улучшения — BM25 и реранкер — только ухудшили метрики. Единственным работающим изменением стала калибровка порога отсечения. Статья подчёркивает важность тщательных замеров на собственных данных.
Разработчик задался целью создать RAG-бота для адресной поддержки пользователей криптовалютного чата: бот должен был находить похожие запросы и показывать готовые ответы администраторов. Используя корпус из 3,9 миллиона сообщений и оценочный набор из 51 вопроса, он измерил базовый показатель hit@3 для чистого векторного поиска — 74%. Пытаясь улучшить систему, он добавил гибридный поиск с BM25 и
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал