O Modelo Não É o Culpado: Análise de Três Incidentes de IA de Alto Perfil Devido à Falta de Arquitetura

Um designer de sistemas baseados em LLM analisa três incidentes. Primeiro: a Deloitte Austrália usou IA para um relatório governamental, parte das notas de rodapé era inexistente ou atribuída a autores errados, apesar de revisões internas. A causa foi que a verificação se baseou na fluência do texto, e não na verificação mecânica das fontes. Segundo: em Minnesota, a polícia usou a rede de câmeras Flock para prender o jornalista Joel Feder, porque um número incompleto foi inserido no banco (dígitos menores foram omitidos) e a correspondência parcial foi tratada como exata, sem a verificação obrigatória por um oficial. Terceiro: o fundador de um SaaS independente descobriu que o código escrito pelo modelo cancelou todas as assinaturas ativas em 7 segundos durante a noite, reduzindo o MRR (Receita Recorrente Mensal) para US$ 38 (apenas duas de teste sobreviveram). O código era executado por uma tarefa cron e tinha permissão para uma operação irreversível em massa, sem controle. O autor propõe soluções por meio de princípios arquiteturais: controle em código determinístico, e não no prompt, validação nas fronteiras e human-in-the-loop (pessoa no circuito) como um caminho obrigatório no código. Para a API Claude, são mostrados exemplos com citações, saídas estruturadas e uso de ferramentas.