ランタイム非依存のAIワークフロー：本番安定性と迅速な評価イテレーションを両立するパターン

InfoQ中国からの記事で、BrexのAIワークフロープラットフォームで開発されたパターンについて説明しています。このパターンは、本番環境の安定性と高速な評価イテレーションというトレードオフを解決するものです。AIワークフローは、大規模言語モデル（LLM）を呼び出すステップを含み、そのオーケストレーションロジックはラベル付きデータセットに対する評価実行によって検証する必要があります。本番環境では、Temporalのような堅牢で分散されたランタイムが必要ですが、評価には軽量でプロセス内のループが必要です。ほとんどのフレームワークはオーケストレーションとランタイムを密結合していますが、Brexのパターンはこれらを分離しています。つまり、オーケストレーションは、型付きのStepsインターフェースにのみ依存するプレーンな関数であり、具体的な副作用はStepsの実装に含まれます。2つのアダプタが存在します。本番環境用のTemporalアダプタ（各Stepsメソッドがアクティビティになる）と、同じオーケストレーションをモックプラグインでプロセス内実行する評価用アダプタです。このアプローチにより、評価と本番の乖離を排除し、ランタイムの選択を可逆的にし、長時間実行タスクの完了率を約96%から99.9%に改善しましたが、ランタイム固有の機能をインターフェースを通じてモデル化する必要があり、標準の可視化ツールをそのまま利用できなくなります。