Один шаг агента — 120 000 токенов: куда они уходят и как мы это исправили
Автономный агент может потреблять гораздо больше токенов, чем ожидалось, из-за повторной отправки полного контекста на каждом шаге цикла агента. В статье описывается, как Uma Computer обнаружила, что настоящей причиной была не история диалога, а многократное увеличение накладных расходов на системные инструкции, схемы инструментов и память, и представлены три оптимизации: перенос объёма в инструменты по требованию, переход на символьный бюджет с явными маркерами усечения и прозрачные ожидания по скорости.
Разработчики Uma Computer — автономного агента, выполняющего такие задачи, как поиск в интернете, генерация медиа и нарезка видео — исследовали, почему один пользовательский запрос обошелся в 38 кредитов вместо ожидаемой трети этой суммы. Согласно биллингу, было использовано 119 208 промпт-токенов и всего 1 018 токенов завершения, что означает, что модель в основном читала, а не писала.
Показать ещё ↓
Источник: Habr — хаб ML —
оригинал