运行时无关的AI工作流：一种兼顾生产稳定与快速评估迭代的模式

本文来源于InfoQ中国，描述了Brex的AI工作流平台中开发的一种模式，用以解决生产稳定性与快速评估迭代之间的权衡。AI工作流包含调用大型语言模型（LLM，Large Language Model）的步骤，其编排逻辑必须通过在标记数据集上的评估运行来验证。生产环境需要像Temporal这样的持久化、分布式运行时，而评估则需要轻量级的进程内循环。大多数框架将编排与运行时紧密耦合，但Brex的模式将二者解耦：编排是一个仅依赖于类型化Steps接口的普通函数，副作用被封装在具体的Steps实现中。现有两个适配器：用于生产的Temporal适配器，其中每个Steps方法都成为一个活动（Activity）；以及一个评估适配器，它在进程内以模拟插件方式运行同一编排。这种方法消除了评估与生产之间的偏差，使运行时选择可逆，并将长时间运行任务的完成率从约96%提升至99.9%，尽管它需要通过接口来建模运行时特定功能，并且失去了开箱即用的可视化工具。