Почему AI-агент на самом деле дешевле, чем RAG
Хотя классический RAG-ассистент кажется дешевле за запрос, скрытые расходы, такие как уточняющие вопросы пользователей и эскалации операторам, делают его в целом более дорогим. Агент, использующий цикл ReAct, автономно просматривает несколько документов, пока не найдет полный ответ, превращая процесс из трех попыток, занимающих 27 минут, в один ответ за 4 минуты. Данные реального пилотного проекта службы поддержки подтверждают, что агенты закрывают вопросы втрое дешевле, чем RAG-ассистент.
Статья утверждает, что наивное сравнение стоимости между RAG-ассистентом и агентом вводит в заблуждение. Классический RAG-ассистент делает один вызов большой языковой модели и полагается на пользователя в уточнении запроса, если ответ неверен. На практике пользователи часто сдаются после 2–3 попыток, передавая задачу оператору-человеку, который тратит 10–15 минут на решение. В итоге это обходится
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал