Flux de travail IA indépendants de l’exécution : un modèle équilibrant stabilité de production et itération d’évaluation rapide

Cet article, provenant d'InfoQ Chine, décrit un modèle développé sur la plateforme de workflows IA de Brex pour résoudre le compromis entre la stabilité en production et l'itération d'évaluation rapide. Les workflows IA impliquent des étapes qui font appel à de grands modèles de langage (LLM), et leur logique d'orchestration doit être validée par des exécutions d'évaluation sur des ensembles de données étiquetés. La production exige des runtimes durables et distribués comme Temporal, tandis que l'évaluation nécessite des boucles légères en mémoire. La plupart des frameworks couplent étroitement l'orchestration au runtime, mais le modèle de Brex les découple : l'orchestration est une fonction simple qui ne dépend que d'une interface typée Steps, avec des effets secondaires dans des implémentations concrètes des Steps. Il existe deux adaptateurs : un adaptateur Temporal pour la production, où chaque méthode Steps devient une activité, et un adaptateur d'évaluation qui exécute la même orchestration en mémoire avec des plugins simulés. Cette approche élimine la dérive entre l'évaluation et la production, rend les choix de runtime réversibles, et a amélioré le taux de réussite des tâches de longue durée d'environ 96 % à 99,9 %, mais elle nécessite de modéliser les caractéristiques spécifiques du runtime via des interfaces et perd les outils de visualisation prêts à l'emploi.