Принципы маршрутизации в харнессе: толстый и тонкий харнесс, раннее отклонение и избегание ненужных вызовов LLM
Статья рассматривает архитектурные принципы создания харнесса для ИИ-агентов, подчеркивая выбор между толстым и тонким харнессом, раннее отклонение невыполнимых запросов и избегание ненужных вызовов больших языковых моделей (LLM). Вводится понятие типов сущностей и конвейера маршрутизации для баланса между возможностями модели и стоимостью.
Эта статья — третья часть учебного руководства о фреймворках (harness) для агентных ИИ-систем — посвящена маршрутизации (routing) в таких системах. В ней противопоставляются «толстый» фреймворк, который помогает слабым моделям за счёт добавления сущностей Intent (намерение), Route (маршрут), Shortcut (короткий путь), Capability (возможность) и ContextRequirement (требование к контексту), и
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал