Почему даже идеальная LLM не сделает агентные системы предсказуемыми
Даже если LLM перестанет галлюцинировать и станет детерминированной, многоагентные системы на её основе могут оставаться непредсказуемыми из-за нелинейного взаимодействия агентов. Автор демонстрирует на примерах, что семантически близкие запросы могут приводить к противоположным ответам, а в цепочках агентов небольшие отклонения накапливаются и порождают детерминированный хаос.
Статья рассматривает непредсказуемость мультиагентных систем на основе LLM даже при отсутствии галлюцинаций. Автор проводит эксперимент с моделью Qwen Instruct 30B при температуре 0: на восемь похожих вопросов о детерминированности LLM модель дала два противоположных ответа, хотя каждый отдельный запрос воспроизводился идентично. Семантическая схожесть вопросов, измеренная с помощью метрики
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал