Почему AI-агент на самом деле дешевле RAG
Хотя классический RAG-ассистент выглядит дешевле за запрос, скрытые расходы, такие как последующие обращения пользователей и эскалации операторам, делают его в итоге более дорогим. Агент, использующий цикл ReAct, автономно ищет по нескольким документам, пока не найдет полный ответ, превращая 3-попыточный 27-минутный процесс в один 4-минутный ответ. Реальные пилотные данные из проекта поддержки подтверждают, что агенты закрывают вопросы за треть стоимости RAG-ассистента.
Статья утверждает, что наивное сравнение стоимости между RAG-ассистентом и агентом вводит в заблуждение. Классический RAG-ассистент делает один вызов большой языковой модели и полагается на пользователя в уточнении запроса, если ответ неверен. На практике пользователи часто сдаются после 2–3 попыток, передавая задачу оператору-человеку, который тратит 10–15 минут на решение. В итоге это обходится
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал