KI-Agent im Test: Warum starke Ergebnisse aus dem Engineering-Kreislauf kommen, nicht aus dem Prompt
National Institute of Standards and Technology
International Organization for Standardization
IEEE
International Software Testing Qualifications Board
Es wird eine Methodik für KI-Agenten im Test vorgeschlagen, die sich von der Abhängigkeit von Prompts und Modellen löst. Der Engineering-Kreislauf umfasst verbindliche Regeln, deterministische Ausführungseinheiten und ein explizites Modell der erwarteten Ergebnisse, wodurch überprüfbare, reproduzierbare und nützliche Resultate gewährleistet werden.
Der Artikel beschreibt einen Ansatz zur Entwicklung eines KI-Agenten für Tests, der nicht auf ideale Eingabedaten oder modellgenerierte Vermutungen angewiesen ist. Stattdessen sammelt der Agent verfügbare Beweise, erstellt ein explizites Akzeptanzmodell, verifiziert es über mehrere unabhängige Wege (API, DB, UI), dokumentiert Wissensgrenzen und überlässt die endgültige Entscheidung einem Menschen. Der technische Kreislauf umfasst Szenario-Fähigkeiten, Sicherheitsregeln, Projektkonfiguration, deterministische Ausführungseinheiten und eine Beweiskette. Zu den wichtigsten Testmethoden gehören risikobasiertes Testen (Priorisierung kritischer Module), exploratives Testen (Arbeiten mit unvollständigen Anforderungen), Akzeptanzkriterientests mit einem unabhängigen Orakel (vorformulierte beobachtbare Erwartungen), System-/Integrationsdenken (Nachverfolgen von Zustandsketten) und die Klassifizierung von Grenzen (keine Bestrafung einer Aufgabe für unerledigte Nebenarbeiten). Der Artikel betont, dass die Qualität der Antwort des Agenten nicht durch das Modell, sondern durch den Verifikationskreislauf bestimmt wird.
Quelle: Habr — хаб ИИ —
Original