Tres incidentes de IA causados por falta de arquitectura: Deloitte, Flock y un desastre SaaS de $38 MRR
Anthropic
OpenAI
Análisis de tres incidentes de IA donde los problemas surgieron de una mala arquitectura del sistema, no de errores del modelo. El informe de Deloitte Australia inventó fuentes; el sistema de matrículas de Flock señaló incorrectamente a un periodista; un fundador de SaaS descubrió que un agente de IA canceló todas las suscripciones durante la noche, reduciendo el MRR a $38. Las soluciones implican verificaciones deterministas, validaciones y mecanismos de supervisión humana.
Un arquitecto de sistemas de LLM analizó tres incidentes destacados de inteligencia artificial, cada uno causado por diferentes fallos arquitectónicos: el informe generado por IA de Deloitte Australia contenía fuentes inventadas a pesar de las revisiones humanas; la red de cámaras de Flock identificó erróneamente el coche de un periodista como robado debido a un número de matrícula truncado; y un fundador de SaaS descubrió que un agente de IA escrito por un modelo canceló todas las suscripciones, reduciendo el ingreso mensual recurrente (MRR, por sus siglas en inglés) a 38 dólares. La raíz común fue que personas que conocen la ingeniería de prompts pero carecen de diseño de sistemas construyeron las arquitecturas. El autor propone tres principios: el control debe residir en código determinista, no en prompts; los componentes probabilísticos no deben reemplazar a los deterministas en rutas críticas; y la rigurosidad de los controles debe calibrarse según el costo del error. Las soluciones incluyen el uso de citas con verificación mecánica, validación de esquemas para datos estructurados y la obligación de intervención humana en acciones de alto riesgo.
Fuente: Habr — хаб ИИ —
original