Evaluierung von KI-Agenten: Eine Produktionsvorlage mit Strands und AgentCore von AWS und Motorway

Motorway, der britische Online-Automarkt, auf dem täglich bis zu 8000 Händler um 2500 Autos bieten, hat in Zusammenarbeit mit AWS PACE einen KI-Agenten entwickelt, der Fahrzeuge aus den Beständen der Händler sucht. Der Agent verwendet acht Werkzeuge und kombiniert eine strukturierte Filterung nach 89 Attributen mit einer Vektorsuche auf Basis von LanceDB und Amazon Titan Text Embeddings V2. Um die Zuverlässigkeit des Agenten zu gewährleisten, haben Motorway und AWS eine Evaluierungspipeline aufgebaut, die den Anteil fehlerhafter Ergebnisse von 1 von 8 auf 1 von 50 Anfragen reduziert und die Zeit zur Erkennung von Problemen von mehreren Stunden auf wenige Minuten verkürzt hat. Die Pipeline umfasst eine zweiphasige Strategie: Tests während der Erstellung mit der Bibliothek strands-agents-evals und Überwachung in der Produktion mit Amazon Bedrock AgentCore Evaluations. Die Bewertung erfolgt auf drei Ebenen: Nutzung der Werkzeuge (Schwellenwert >95 %), Argumentationslogik (>85 %) und Ausgabequalität (>90 %). Zur Bekämpfung der Nichtdeterminiertheit von Large Language Models (LLMs) wird die Metrik pass^k verwendet – die Wahrscheinlichkeit, dass k aufeinanderfolgende Versuche erfolgreich sind. Die Pipeline umfasst fünf Bereitstellungsphasen mit qualitativen Prüfpunkten. Im Begleit-Repository wird eine bereitstellbare Vorlage bereitgestellt, die an andere Agenten angepasst werden kann.