IA Autopiloto: fluxo de tarefas aceitas cresce treze vezes

A equipe construiu um pipeline de piloto automático de IA que leva tarefas do YouTrack até a verificação em uma interface gráfica 2D/3D ao vivo. Antes do piloto automático, o projeto aceitava menos de 5 tarefas por semana; depois, cerca de 60, com a IA lidando com três quartos delas. As novas submissões de tickets também cresceram quase três vezes, em parte porque os usuários começaram a relatar problemas agora que as correções eram rápidas. O tempo mediano para a primeira correção caiu de quase três dias para menos de um. A equipe liquidou um acúmulo de mais de 700 tarefas, levando 144 que estavam com mais de nove meses, e quase dois terços foram aceitas. No entanto, a taxa de reabertura subiu de cerca de 11% para níveis mais altos, muitas vezes porque as provas geradas por IA não eram convincentes. Em resposta, eles introduziram uma passagem de auditoria independente, que rejeitou o trabalho em cerca de um terço das execuções e pegou tarefas mal interpretadas. O sistema rodou por 869 horas ao longo de quase oito semanas, equivalente a aproximadamente 2,8 engenheiros em tempo integral. O custo mensal da assinatura foi de cerca de US$ 500, enquanto o preço equivalente baseado em tokens seria de cerca de US$ 5.700. O Claude era mais barato, mas menos rigoroso, enquanto o Codex era mais caro, mas melhor na verificação da interface gráfica. A equipe planeja mover o Codex para um papel de piloto na interface gráfica e usar um modelo mais simples para auditoria.