Эволюция сжатия контекста в AI-агентах
AI-агенты полагаются на историю сообщений для поддержания контекста, но длинные журналы перегружают контекстное окно большой языковой модели (LLM) и ухудшают производительность. Эволюция сжатия контекста проходит путь от простого обрезания хвоста до суммаризации, защиты головы и хвоста и, наконец, до отделения сохраненной истории от рабочего контекста, с инструментами для получения деталей по запросу.
AI-агенты представляют собой цикл обмена сообщениями между пользователем и языковой моделью (LLM), в ходе которого модель может вызывать инструменты или MCP. Каждое взаимодействие добавляется в историю разговора, которая обычно целиком передается в следующий вызов модели. Однако контекстные окна, хотя и большие, не безграничны, а производительность снижается при больших и плохо структурированных
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал