Runtime-agnostische AI-workflows: een patroon dat productiestabiliteit en snelle evaluatie-iteratie in evenwicht brengt
Brex
Temporal Technologies
Vercel
LangChain
Mastra
Braintrust
Laminar
LangSmith
Het AI-workflowplatform van Brex introduceert een patroon voor runtime-agnostische orkestratie, dat de orkestratielogica scheidt van de runtime om zowel productiestabiliteit als snelle evaluatieloops te ondersteunen. Het patroon maakt gebruik van een draagbare kernel met adapters voor Temporal (productie) en in-process-evaluatie, waardoor afwijkingen tussen evaluatie en productie worden geëlimineerd en de taakvoltooiingspercentages verbeteren.
Het artikel, afkomstig van InfoQ China, beschrijft een patroon dat is ontwikkeld op het AI-workflowplatform van Brex om de afweging tussen productiestabiliteit en snelle evaluatie-iteratie op te lossen. AI-workflows omvatten stappen die grote taalmodellen (LLM's) aanroepen, en hun orchestratielogica moet worden gevalideerd via evaluatieruns op gelabelde datasets. Productie vereist duurzame, gedistribueerde runtimes zoals Temporal, terwijl evaluatie lichtgewicht, in-process loops nodig heeft. De meeste frameworks koppelen orchestratie strak aan runtime, maar Brex's patroon ontkoppelt ze: orchestratie is een gewone functie die alleen afhangt van een getypte Steps-interface, met zij-effecten in concrete Steps-implementaties. Er zijn twee adapters: een Temporal-adapter voor productie, waarbij elke Steps-methode een activiteit wordt, en een eval-adapter die dezelfde orchestratie in-process uitvoert met mock-plugins. Deze aanpak elimineert evaluatie-productiedrift, maakt runtime-keuzes omkeerbaar en heeft het voltooiingspercentage van langlopende taken verbeterd van ongeveer 96% naar 99,9%, hoewel het vereist dat runtime-specifieke functies via interfaces worden gemodelleerd en verliest het kant-en-klare visualisatietools.
Bron: InfoQ 中国 —
origineel