Agentes RSS

Agentes 🇷🇺

Un paso de agente — 120 000 tokens: a dónde van y cómo lo solucionamos

Un agente autónomo puede consumir muchos más tokens de lo esperado debido al envío repetido del contexto completo en cada paso del bucle del agente. El artículo describe cómo Uma Computer descubrió que la causa real no era el historial de diálogo, sino la sobrecarga multiplicada de las instrucciones del sistema, los esquemas de herramientas y la memoria, y presenta tres optimizaciones: trasladar el volumen a herramientas bajo demanda, cambiar a un presupuesto de caracteres con marcadores de truncamiento explícitos y expectativas de velocidad transparentes.

Habr — хаб ML31.07 · 17:02
Noticias frescas