416 testes e um botão 'destruir tudo': onde projetos de agentes quebram
Anthropic
Uma análise de seis projetos de agentes revela falhas recorrentes: segurança como texto, ações irreversíveis sem proteções e zero testes comportamentais. Até um projeto maduro de código aberto com testes de regressão ainda carece de salvaguardas para envio irreversível de e-mails. O autor propõe dez questões diagnósticas para avaliar a maturidade de sistemas de agentes.
O autor está executando um agente autônomo chamado Groundhog (Surok) desde fevereiro de 2026 em um loop de pesquisa com Claude Code e a flag --dangerously-skip-permissions. Em seguida, auditou seis de seus próprios projetos de agente contra uma checklist composta de seis fontes (incluindo a metodologia PDLC AI-DISRUPT da Sber) e encontrou três padrões recorrentes de falha: segurança imposta apenas em prompts (o modelo pode ser sobrescrito), ações irreversíveis sem confirmação (por exemplo, um comando de reconstrução apaga todos os dados enriquecidos) e zero testes de regressão para bugs comportamentais. O autor também analisou um projeto anônimo de agente open-source de grande porte: ele possuía verificações de permissão em nível de código e testes de regressão para bugs passados, mas ainda enviava e-mails de forma irreversível sem uma etapa de rascunho/confirmação. Um framework open-source mais recente (HarnessX) oferece um gate interrupt_on, mas é opcional e não padrão. A metodologia PDLC da Sber formaliza muitos dos controles ausentes: política como código, avaliações como contratos de conclusão e uma escada de permissões R0–R5 com abort/rollback obrigatório para operações de alteração de estado em R3+. O autor construiu um sétimo projeto implementando algumas lições aprendidas: agora as avaliações são executadas antes de cada release e incidentes se tornam testes de regressão nomeados.
Fonte: Habr — хаб ИИ —
original
