Маршрутизация моделей: просто? Пока не столкнётесь с реальностью
OpenAI
Anthropic
Маршрутизация между моделями ИИ — это не просто задача классификации, а вызов системной оптимизации. Реальные факторы, такие как кэширование, инфраструктура, задержка и соответствие требованиям, доминируют, делая прайс-листы и сложность задачи плохими ориентирами.
Маршрутизация между моделями ИИ обманчиво сложна. В тестах с 417 задачами на AppWorld Test Challenge с использованием агента CodeAct GPT-4.1 стоил $155 ($0,37 за задачу), в то время как Claude Sonnet — $79 ($0,19 за задачу), несмотря на более низкую цену за токен у GPT-4.1. Разница была обусловлена кэшированием: более низкая цена чтения из кэша у Sonnet дала ему большое преимущество в рабочих
Показать ещё ↓
Источник: Hugging Face blog —
оригинал