Fluxos de Trabalho de IA Independentes do Ambiente de Execução: Um Padrão que Equilibra Estabilidade em Produção e Iteração Rápida de Avaliação

O artigo, originário da InfoQ China, descreve um padrão desenvolvido na plataforma de fluxos de trabalho de IA da Brex para resolver o trade-off entre estabilidade de produção e iteração rápida de avaliação. Fluxos de trabalho de IA envolvem etapas que chamam modelos de linguagem de grande porte (LLMs), e sua lógica de orquestração precisa ser validada por meio de execuções de avaliação em conjuntos de dados rotulados. A produção exige runtimes distribuídos e duráveis, como o Temporal, enquanto a avaliação necessita de loops leves em processo. A maioria dos frameworks acopla fortemente a orquestração ao runtime, mas o padrão da Brex os desacopla: a orquestração é uma função simples que depende apenas de uma interface tipada Steps, com efeitos colaterais em implementações concretas de Steps. Existem dois adaptadores: um adaptador Temporal para produção, onde cada método de Steps se torna uma atividade, e um adaptador de avaliação que executa a mesma orquestração em processo com plugins simulados. Essa abordagem elimina a divergência entre avaliação e produção, torna as escolhas de runtime reversíveis e melhorou as taxas de conclusão de tarefas de longa duração de cerca de 96% para 99,9%, embora exija modelar recursos específicos do runtime por meio de interfaces e perca ferramentas de visualização prontas para uso.