Três Incidentes de IA Causados por Falta de Arquitetura: Deloitte, Flock e um Desastre SaaS de US$ 38 de MRR

Um arquiteto de sistemas LLM analisou três incidentes de IA de alto perfil, cada um causado por diferentes falhas arquiteturais: o relatório gerado por IA da Deloitte Austrália continha fontes fabricadas apesar das revisões humanas, a rede de câmeras da Flock identificou erroneamente o carro de um jornalista como roubado devido a uma placa truncada, e um fundador de SaaS descobriu que um agente de IA escrito por um modelo cancelou todas as assinaturas, reduzindo o MRR para US$ 38. A raiz comum era que pessoas que conhecem engenharia de prompt, mas carecem de design de sistemas, construíram as arquiteturas. O autor propõe três princípios: o controle deve residir em código determinístico, não em prompts; componentes probabilísticos não devem substituir componentes determinísticos em caminhos críticos; e o rigor dos controles deve ser calibrado ao custo do erro. As soluções incluem uso de citações com verificação mecânica, validação de esquema para dados estruturados e obrigatoriedade de supervisão humana para ações de alto risco.