Pourquoi même un LLM parfait ne rendra pas les systèmes agentiques prédictibles
Beijing Academy of Artificial Intelligence (BAAI)
Même si un LLM arrêtait les hallucinations et devenait déterministe, les systèmes multi-agents qui en découlent peuvent rester imprévisibles en raison des interactions non linéaires entre agents. L'auteur démontre avec des exemples que des requêtes sémantiquement similaires peuvent conduire à des réponses opposées et que, dans les chaînes d'agents, les petites déviations s'accumulent et génèrent un chaos déterministe.
L'article examine l'imprévisibilité des systèmes multi-agents basés sur les LLM, même en l'absence de toute hallucination. L'auteur mène une expérience avec le modèle Qwen Instruct 30B à température 0 : pour huit questions similaires portant sur le déterminisme des LLM, le modèle a donné deux réponses opposées, bien que chaque requête individuelle se soit reproduite à l'identique. La similarité sémantique des questions, mesurée via la métrique BAAI/bge-m3, était de 0,30 à 0,39, ce qui signifie qu'elles sont pratiquement indistinguables pour l'utilisateur. Ensuite, l'auteur simule le comportement d'une chaîne d'agents à l'aide d'une carte logistique, une transformation non linéaire des états. Avec des valeurs initiales correspondant à la similarité sémantique, les trajectoires divergent de manière chaotique à partir de l'étape 15, même si chaque étape est déterministe. Conclusion : la prévisibilité d'un agent unique ne garantit pas la prévisibilité de la composition en raison de la non-linéarité et de l'accumulation d'erreurs. Les recommandations pratiques incluent la limitation de la longueur des chaînes séquentielles, l'introduction de points de vérification, l'utilisation de structures parallèles et le test du pipeline sur des entrées sémantiquement similaires.
Source: Habr — хаб ИИ —
original