Trois incidents d'IA causés par un manque d'architecture : Deloitte, Flock et un désastre SaaS à 38 $ de MRR

Un architecte de systèmes LLM a analysé trois incidents marquants liés à l'IA, chacun causé par des défauts architecturaux différents : le rapport généré par l'IA de Deloitte Australie contenait des sources fabriquées malgré des relectures humaines, le réseau de caméras de Flock a identifié à tort la voiture d'un journaliste comme volée en raison d'un numéro de plaque tronqué, et un fondateur de SaaS a constaté qu'un agent d'IA rédigé par un modèle avait annulé tous les abonnements, réduisant le revenu mensuel récurrent à 38 dollars. La cause commune était que les architectures avaient été construites par des personnes maîtrisant l'ingénierie des prompts mais sans conception système. L'auteur propose trois principes : le contrôle doit résider dans le code déterministe, pas dans les prompts ; les composants probabilistes ne doivent pas remplacer les composants déterministes dans les chemins critiques ; et la rigueur des contrôles doit être calibrée en fonction du coût de l'erreur. Les solutions incluent l'utilisation de citations avec vérification mécanique, la validation de schéma pour les données structurées, et l'obligation d'une intervention humaine pour les actions à haut risque.