Le modèle n’est pas en cause : analyse de trois incidents majeurs d’IA dus à un manque d’architecture

Un architecte de systèmes basés sur des grands modèles de langage analyse trois incidents. Premier : Deloitte Australia a utilisé l'IA pour un rapport destiné au gouvernement ; certaines notes de bas de page se sont révélées inexistantes ou attribuées à des auteurs erronés, malgré des relectures internes. La cause en est que la vérification s'est appuyée sur la fluidité du texte plutôt que sur une vérification mécanique des sources. Deuxième : dans le Minnesota, la police a, via le réseau de caméras Flock, arrêté le journaliste Joel Feder parce qu'un numéro incomplet (les petits chiffres manquants) avait été saisi dans la base, et une correspondance partielle a été traitée comme exacte, sans la vérification obligatoire par un officier. Troisième : le fondateur d'un SaaS indépendant a découvert que du code écrit par un modèle, exécuté de nuit en 7 secondes, avait annulé tous les abonnements actifs, réduisant le revenu mensuel récurrent (MRR) à 38 dollars (seuls deux abonnements de test ont survécu). Le code s'exécutait via une tâche cron, disposait des droits pour une opération irréversible en masse, sans contrôle. L'auteur propose des solutions via des principes architecturaux : contrôle dans du code déterministe plutôt que dans le prompt, validation aux limites et humain dans la boucle (human-in-the-loop) comme branche obligatoire du code. Pour l'API Claude, des exemples sont donnés avec citations, sorties structurées (structured outputs) et utilisation d'outils (tool use).