런타임에 구애받지 않는 AI 워크플로: 프로덕션 안정성과 빠른 평가 반복의 균형을 위한 패턴

InfoQ China에서 제공한 이 기사는 프로덕션 안정성과 빠른 평가 반복 사이의 트레이드오프를 해소하기 위해 Brex의 AI 워크플로 플랫폼에서 개발한 패턴을 소개한다. AI 워크플로는 대규모 언어 모델(large language model, LLM)을 호출하는 단계들로 구성되며, 이들의 오케스트레이션 로직은 레이블링된 데이터셋에 대한 평가 실행을 통해 검증되어야 한다. 프로덕션 환경에서는 Temporal처럼 내구성 있는 분산 런타임이 필요하지만, 평가에는 가볍고 인프로세스 방식의 루프가 적합하다. 대부분의 프레임워크는 오케스트레이션과 런타임을 강하게 결합하지만, Brex의 패턴은 이 둘을 분리한다. 즉, 오케스트레이션은 타입이 지정된 Steps 인터페이스에만 의존하는 순수 함수로 작성하고, 부수 효과는 구체적인 Steps 구현체에 위임하는 방식이다. 어댑터는 두 가지가 존재한다. 프로덕션용 Temporal 어댑터는 각 Steps 메서드를 액티비티(activity)로 변환하며, 평가용(eval) 어댑터는 동일한 오케스트레이션을 목(mock) 플러그인과 함께 인프로세스에서 실행한다. 이 접근 방식은 평가 환경과 프로덕션 환경 간의 괴리(drift)를 없애고, 런타임 선택을 언제든 되돌릴 수 있게 만들며, 장기 실행 작업의 완료율을 약 96%에서 99.9%로 끌어올렸다. 다만 런타임 고유의 기능들을 인터페이스로 일일이 모델링해야 하고, 기본 제공되는 시각화 도구는 포기해야 한다는 trade-off가 있다.