Alur Kerja AI yang Tidak Bergantung pada Runtime: Pola yang Menyeimbangkan Stabilitas Produksi dan Iterasi Evaluasi Cepat

Artikel yang bersumber dari InfoQ China ini menjelaskan sebuah pola yang dikembangkan di platform alur kerja AI milik Brex untuk mengatasi trade-off antara stabilitas produksi dan iterasi evaluasi yang cepat. Alur kerja AI melibatkan langkah-langkah yang memanggil model bahasa besar (LLM), dan logika orkestrasinya harus divalidasi melalui evaluasi yang dijalankan pada dataset berlabel. Produksi membutuhkan runtime yang tahan lama dan terdistribusi seperti Temporal, sementara evaluasi membutuhkan loop ringan yang berjalan dalam proses yang sama. Kebanyakan kerangka kerja menggabungkan orkestrasi dengan runtime secara erat, tetapi pola Brex memisahkan keduanya: orkestrasi adalah fungsi biasa yang hanya bergantung pada antarmuka Steps yang bertipe, dengan efek samping yang terdapat pada implementasi Steps yang konkret. Ada dua adaptor: adaptor Temporal untuk produksi, di mana setiap metode Steps menjadi sebuah aktivitas, dan adaptor eval yang menjalankan orkestrasi yang sama secara in-proses dengan plugin tiruan. Pendekatan ini menghilangkan perbedaan antara evaluasi dan produksi, membuat pilihan runtime dapat dibatalkan, dan telah meningkatkan tingkat penyelesaian tugas jangka panjang dari sekitar 96% menjadi 99,9%, meskipun memerlukan pemodelan fitur spesifik runtime melalui antarmuka dan kehilangan alat visualisasi yang sudah jadi.