Quy trình AI không phụ thuộc runtime: Mô hình cân bằng giữa ổn định sản xuất và lặp lại đánh giá nhanh

Bài viết, dựa trên nguồn từ InfoQ China, mô tả một mẫu thiết kế (pattern) được phát triển tại nền tảng quy trình làm việc AI của Brex nhằm giải quyết sự đánh đổi giữa tính ổn định trong môi trường production và khả năng lặp lại nhanh chóng trong quá trình đánh giá. Các quy trình làm việc AI bao gồm những bước gọi đến các mô hình ngôn ngữ lớn (large language models – LLM), và logic điều phối của chúng phải được kiểm chứng thông qua các lần chạy đánh giá trên những tập dữ liệu đã được gán nhãn. Môi trường production đòi hỏi các runtime phân tán, bền bỉ như Temporal, trong khi việc đánh giá lại cần các vòng lặp nhẹ, chạy ngay trong tiến trình (in-process). Hầu hết các framework đều gắn chặt phần điều phối với runtime, nhưng mẫu thiết kế của Brex lại tách rỗi hai phần này: phần điều phối chỉ là một hàm thuần túy, phụ thuộc duy nhất vào một interface Steps có kiểu dữ liệu rõ ràng, còn các hiệu ứng phụ (side effect) nằm trong những triển khai Steps cụ thể. Tồn tại hai adapter: một adapter Temporal dành cho production, trong đó mỗi phương thức của Steps trở thành một activity, và một adapter phục vụ đánh giá, chạy cùng logic điều phối đó ngay trong tiến trình với các plugin giả lập (mock). Cách tiếp cận này loại bỏ được sự sai lệch giữa môi trường đánh giá và production, khiến việc lựa chọn runtime trở nên dễ dàng thay đổi, đồng thờii giúp tỷ lệ hoàn thành các tác vụ chạy dài tăng từ khoảng 96% lên 99,9%, dù đòi hỏi phải mô hình hóa các tính năng đặc thù của từng runtime thông qua interface và đánh mất những công cụ trực quan hóa có sẵn.