Çalışma Zamanından Bağımsız Yapay Zekâ İş Akışları: Üretim Kararlılığı ile Hızlı Değerlendirme Yinelemesini Dengeleyen Bir Desen
Brex
Temporal Technologies
Vercel
LangChain
Mastra
Braintrust
Laminar
LangSmith
Brex'in yapay zekâ iş akışı platformu, orkestrasyon mantığını çalışma zamanından ayırarak hem üretim kararlılığını hem de hızlı değerlendirme döngülerini destekleyen, çalışma zamanından bağımsız bir orkestrasyon deseni sunar. Desen, Temporal (üretim) ve süreç içi değerlendirme için bağdaştırıcılar içeren taşınabilir bir çekirdek kullanır; böylece değerlendirme ile üretim arasındaki farklılaşmayı ortadan kaldırır ve görev tamamlama oranlarını iyileştirir.
InfoQ China'dan alınan bu makale, Brex'in yapay zeka iş akışı platformunda, üretim kararlılığı ile hızlı değerlendirme iterasyonu arasındaki dengeyi çözmek için geliştirilen bir deseni açıklamaktadır. Yapay zeka iş akışları, büyük dil modellerini (LLM'ler) çağıran adımları içerir ve bu adımların orkestrasyon mantığı, etiketli veri kümeleri üzerinde değerlendirme çalıştırmalarıyla doğrulanmalıdır. Üretim ortamı, Temporal gibi dayanıklı, dağıtık çalışma zamanları gerektirirken; değerlendirme, hafif ve süreç içi döngülere ihtiyaç duyar. Çoğu çerçeve, orkestrasyonu çalışma zamanına sıkı sıkıya bağlar, ancak Brex'in deseni bunları ayırır: orkestrasyon, yalnızca tür tanımlı bir Steps arayüzüne bağımlı olan düz bir fonksiyondur ve yan etkiler, somut Steps uygulamalarında yer alır. İki bağdaştırıcı mevcuttur: üretim için, her Steps metodunun bir aktivite haline geldiği bir Temporal bağdaştırıcısı ve aynı orkestrasyonu sahte eklentilerle süreç içinde çalıştıran bir değerlendirme bağdaştırıcısı. Bu yaklaşım, değerlendirme-üretim sapmasını ortadan kaldırır, çalışma zamanı seçimlerini geri alınabilir hale getirir ve uzun süreli görev tamamlanma oranlarını yaklaşık %96'dan %99,9'a iyileştirmiştir; ancak, çalışma zamanına özgü özelliklerin arayüzler aracılığıyla modellenmesini gerektirir ve hazır görselleştirme araçlarını kaybettirir.
Kaynak: InfoQ 中国 —
orijinal