нагрузках агентов с повторно используемым контекстом. Сложность задачи часто невидима во время маршрутизации, и маршрутизаторы должны одновременно балансировать между стоимостью, качеством, задержкой, соответствием требованиям и надежностью. Задержка зависит от инфраструктурных факторов, таких как аппаратное обеспечение и состояние кэша, а не только от размера модели. Авторы создали маршрутизатор, который рассматривает маршрутизацию как задачу оптимизации, а не классификации, создавая границу затрат и точности. Конфигурация 1 достигла 84% точности при стоимости $93 и задержке 83 с, снизив стоимость на 21% и задержку на 9% по сравнению с запуском только Opus, при падении точности всего на 4%. Стандартный маршрутизатор на основе сложности (teal diamond) имел схожую точность, но более высокую стоимость. Оптимизация легковесна: ~6 мс и 2 кБ памяти на задачу.