416 Tests und ein 'Alles löschen'-Button: Wo Agentenprojekte scheitern

Der Autor betreibt seit Februar 2026 einen autonomen Agenten namens Groundhog (Surok) in einer Forschungsschleife mit Claude Code und --dangerously-skip-permissions. Anschließend prüfte er sechs seiner eigenen Agentenprojekte anhand einer zusammengesetzten Checkliste aus sechs Quellen (einschließlich der Sber AI-DISRUPT PDLC-Methodik) und fand drei wiederkehrende Fehlermuster: Sicherheit wird nur in Prompts erzwungen (Modell kann überschrieben werden), irreversible Aktionen ohne Bestätigung (z. B. überschreibt ein Rebuild-Befehl alle angereicherten Daten) und null Regressionstests für Verhaltensfehler. Der Autor untersuchte außerdem ein anonymes großes Open-Source-Agentenprojekt: Es enthielt Berechtigungsprüfungen auf Codeebene und Regressionstests für frühere Fehler, versendete jedoch weiterhin E-Mails irreversibel ohne Entwurfs- oder Bestätigungsschritt. Ein neueres Open-Source-Framework (HarnessX) bietet ein interrupt_on-Gate, das jedoch optional und nicht standardmäßig aktiviert ist. Sbers PDLC-Methodik formalisiert viele der fehlenden Kontrollen: Policy als Code, Evaluierungen als Erfüllungsverträge (Completion Contracts) und eine R0–R5-Berechtigungsleiter mit obligatorischem Abbruch/Rollback für zustandsändernde Operationen ab R3+. Der Autor baute ein siebtes Projekt, das einige dieser Lehren umsetzt: Evaluierungen laufen jetzt vor jedem Release, und Vorfälle werden zu benannten Regressionstests.