Drei KI-Vorfälle durch mangelnde Architektur: Deloitte, Flock und eine SaaS-Katastrophe mit 38 $ MRR

Ein Architekt von LLM-Systemen analysierte drei prominente KI-Zwischenfälle, die jeweils auf unterschiedliche Architekturfehler zurückzuführen waren: Deloitte Australia erstellte einen KI-generierten Bericht, der trotz menschlicher Überprüfungen erfundene Quellen enthielt; Flocks Kamera-Netzwerk klassifizierte das Auto einer Journalistin aufgrund einer abgeschnittenen Kennzeichennummer fälschlicherweise als gestohlen; und ein SaaS-Gründer stellte fest, dass ein von einem Modell geschriebener KI-Agent alle Abonnements kündigte, was das monatlich wiederkehrende Einkommen auf 38 Dollar reduzierte. Die gemeinsame Ursache war, dass Personen, die sich mit Prompt-Engineering auskennen, aber kein Systemdesign beherrschen, die Architekturen erstellten. Der Autor schlägt drei Prinzipien vor: Die Kontrolle muss im deterministischen Code liegen, nicht in Prompts; probabilistische Komponenten sollten in kritischen Pfaden nicht deterministische ersetzen; und die Strenge der Kontrollen muss an die Kosten eines Fehlers angepasst sein. Zu den Lösungen gehören die Verwendung von Zitaten mit mechanischer Verifizierung, Schema-Validierung für strukturierte Daten und die obligatorische Einbeziehung eines Menschen für risikoreiche Aktionen.