LLM-wiki против RAG: сравнение методов генерации ответов по корпоративному документу
Автор сравнил LLM-wiki (на wiki-агенте) и простую RAG-систему на синтетическом документе «Директива 401». Результаты показали, что LLM-wiki стабильно превосходит RAG по полноте ответа (recall), а по точности (precision) разница незначительна. Стоимость построения wiki составила менее $3.7.
Автор провёл эксперимент, сравнивая два подхода к генерации ответов на основе документов: LLM-wiki (вдохновлённый идеей Андрея Карпатого) и простую систему RAG с векторным ретривером. Исходным текстом послужил синтетический корпоративный документ под названием «Директива 401» объёмом около 100 000 символов, подготовленный моделью gemma4:31b. Вопросы (20 фактологических и 20 кейсовых) были
Показать ещё ↓
Источник: Habr — хаб NLP —
оригинал