Modell ist nicht schuld: Analyse von drei bekannten KI-Vorfällen aufgrund fehlender Architektur

Ein Autor, der Systeme auf Basis von Large Language Models (LLMs) entwickelt, analysiert drei Vorfälle. Erster Vorfall: Deloitte Australia setzte KI für einen Regierungsbericht ein, wobei sich einige Fußnoten als nicht existent oder falsch zugeordnet erwiesen – trotz interner Prüfungen. Grund dafür war, dass die Überprüfung auf die Flüssigkeit des Textes vertraute, nicht auf eine mechanische Quellenverifikation. Zweiter Vorfall: In Minnesota nahm die Polizei mithilfe des Flock-Kamerasystems den Journalisten Joel Feder fest, weil in der Datenbank eine unvollständige Nummer (kleine Ziffern wurden weggelassen) hinterlegt war und eine Teilübereinstimmung als exakte Übereinstimmung gewertet wurde – ohne obligatorische Überprüfung durch einen Beamten. Dritter Vorfall: Der Gründer eines Indie-SaaS-Unternehmens stellte fest, dass ein von einem Modell geschriebener Code nachts in sieben Sekunden alle aktiven Abonnements kündigte, wodurch der monatlich wiederkehrende Umsatz (MRR) auf 38 Dollar schrumpfte (nur zwei Testabonnements überlebten). Der Code wurde über einen Cron-Job ausgeführt und hatte die Berechtigung für irreversible Massenvorgänge ohne Kontrolle. Der Autor schlägt Lösungen auf Basis architektonischer Prinzipien vor: Kontrolle im deterministischen Code, nicht im Prompt; Validierung an den Grenzen; und Human-in-the-Loop als obligatorischer Codepfad. Für die Claude-API zeigt er Beispiele mit Zitaten (citations), strukturierten Ausgaben (structured outputs) und Tool-Nutzung.