Flujos de Trabajo de IA Independientes del Entorno de Ejecución: Un Patrón que Equilibra Estabilidad de Producción e Iteración Rápida de Evaluación

El artículo, proveniente de InfoQ China, describe un patrón desarrollado en la plataforma de flujos de trabajo de IA de Brex para resolver el equilibrio entre la estabilidad de producción y la iteración rápida de evaluación. Los flujos de trabajo de IA implican pasos que llaman a modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés), y su lógica de orquestación debe validarse mediante ejecuciones de evaluación sobre conjuntos de datos etiquetados. La producción requiere tiempos de ejecución distribuidos y duraderos como Temporal, mientras que la evaluación necesita bucles ligeros dentro del proceso. La mayoría de los marcos de trabajo acoplan estrechamente la orquestación con el tiempo de ejecución, pero el patrón de Brex los desacopla: la orquestación es una función simple que depende únicamente de una interfaz de Pasos tipada, con efectos secundarios en implementaciones concretas de Pasos. Existen dos adaptadores: un adaptador de Temporal para producción, donde cada método de Pasos se convierte en una actividad, y un adaptador de evaluación que ejecuta la misma orquestación dentro del proceso con complementos simulados. Este enfoque elimina la desviación entre evaluación y producción, hace que las elecciones de tiempo de ejecución sean reversibles y ha mejorado las tasas de finalización de tareas de larga duración de aproximadamente el 96% al 99,9%, aunque requiere modelar características específicas del tiempo de ejecución mediante interfaces y pierde las herramientas de visualización listas para usar.