Drie AI-incidenten veroorzaakt door gebrek aan architectuur: Deloitte, Flock en een $38 MRR SaaS-ramp

Een architect van LLM-systemen analyseerde drie spraakmakende AI-incidenten, elk veroorzaakt door verschillende architectuurfouten: het AI-gegenereerde rapport van Deloitte Australia bevatte verzonnen bronnen ondanks menselijke controles, het cameranetwerk van Flock identificeerde de auto van een journalist ten onrechte als gestolen vanwege een afgekapt kenteken, en een SaaS-oprichter ontdekte dat een door een model geschreven AI-agent alle abonnementen annuleerde, waardoor de maandelijkse terugkerende omzet (monthly recurring revenue, MRR) daalde tot $38. De gemeenschappelijke oorzaak was dat mensen met kennis van prompt engineering, maar zonder systeemontwerp, de architecturen bouwden. De auteur stelt drie principes voor: controle moet in deterministische code zitten, niet in prompts; probabilistische componenten mogen deterministische niet vervangen in kritieke paden; en de strengheid van controles moet worden afgestemd op de kosten van een fout. Oplossingen omvatten het gebruik van citaten met mechanische verificatie, schemavalidatie voor gestructureerde gegevens en verplichte human-in-the-loop voor risicovolle acties.