Laufzeitagnostische KI-Workflows: Ein Muster für Produktionsstabilität und schnelle Evaluierungsiterationen

Der Artikel, der von InfoQ China stammt, beschreibt ein Muster, das auf der KI-Workflow-Plattform von Brex entwickelt wurde, um den Zielkonflikt zwischen Produktionsstabilität und schneller Evaluierungsiteration aufzulösen. KI-Workflows umfassen Schritte, die große Sprachmodelle (LLMs) aufrufen, und ihre Orchestrierungslogik muss durch Evaluierungsläufe auf gekennzeichneten Datensätzen validiert werden. Die Produktion erfordert langlebige, verteilte Laufzeiten wie Temporal, während die Evaluierung leichtgewichtige, In-Process-Schleifen benötigt. Die meisten Frameworks koppeln die Orchestrierung eng an die Laufzeit, aber das Muster von Brex entkoppelt sie: Die Orchestrierung ist eine einfache Funktion, die nur von einem typisierten Steps-Interface abhängt, wobei die Seiteneffekte in konkreten Steps-Implementierungen liegen. Es gibt zwei Adapter: einen Temporal-Adapter für die Produktion, bei dem jede Steps-Methode zu einer Aktivität wird, und einen Evaluierungsadapter, der dieselbe Orchestrierung In-Process mit Mock-Plugins ausführt. Dieser Ansatz beseitigt die Drift zwischen Evaluierung und Produktion, macht Laufzeitentscheidungen umkehrbar und hat die Erfolgsquote langer laufender Aufgaben von etwa 96 % auf 99,9 % verbessert, erfordert jedoch die Modellierung laufzeitspezifischer Funktionen durch Interfaces und den Verlust von Out-of-the-box-Visualisierungswerkzeugen.