Wie ich verifizierte, dass meine Flotte von KI-Agenten wirklich autonom ist

Ein Betreiber einer Flotte von KI-Agenten, der von Haus aus kein Entwickler ist, machte es sich zur Aufgabe, zu beweisen, dass seine Flotte von vier Maschinen, die über sechs Wochen Verhandlungen führte, wirklich autonom war. Er definierte vier Invarianten (INV-1 bis INV-4) als reine Funktionen über Ereignisprotokolle, um Verhaltensregeln zu überprüfen, wie zum Beispiel die menschliche Genehmigung vor der Durchführung von Aktionen der Stufe 2 und die unabhängige Verifizierung vor Commits. Bei der Ausführung dieser Prüfungen über 64 echte Vorschläge und 317 Ereignisse stellte er fest, dass INV-1 (menschliche Kontrolle für Stufe 2) zu 100 % bestanden wurde, aber INV-2 (unabhängige Verifizierung) nur zu 7,7 %, was darauf hindeutet, dass VERIFY nur beratend war und nicht durchgesetzt wurde. INV-3 deckte einen Fehler mit doppelten Ereignissen auf, bei dem ein Hub ACCEPT 17 Mal wiederholte, und INV-4 zeigte fünf Eskalationen, die durchgeführt wurden, ohne auf eine menschliche Lösung zu warten. Der Betreiber veröffentlichte diese Ergebnisse transparent, einschließlich einer echten Spur, die sowohl einen korrekten Ablauf mit menschlicher Genehmigung als auch dieselbe Spur, die bei INV-2 scheiterte, zeigt, weil die Verifizierung von der Person durchgeführt wurde, die den Commit ausführte. Er diskutierte auch Einschränkungen, Fehler und den Open-Source-Code für die Bewertungsumgebung.