Piloto Automático de IA: el flujo de tareas aceptadas se multiplicó por trece

El equipo construyó un pipeline de piloto automático de IA que toma tareas de YouTrack hasta su verificación en una GUI 2D/3D en vivo. Antes del piloto automático, el proyecto aceptaba menos de 5 tareas por semana; después, alrededor de 60, con la IA manejando tres cuartas partes. Las nuevas solicitudes de tickets también crecieron casi tres veces, en parte porque los usuarios comenzaron a reportar problemas ahora que las correcciones eran rápidas. El tiempo medio para la primera corrección se redujo de casi tres días a menos de uno. El equipo liquidó un atraso de más de 700 tareas, tomando 144 que tenían más de nueve meses, y casi dos tercios fueron aceptadas. Sin embargo, la tasa de reapertura aumentó de alrededor del 11% a niveles más altos, a menudo porque las pruebas generadas por IA no eran convincentes. En respuesta, introdujeron una pasada de auditoría independiente, que rechazó trabajo en aproximadamente un tercio de las ejecuciones y detectó tareas mal interpretadas. El sistema funcionó 869 horas durante casi ocho semanas, equivalente a aproximadamente 2.8 ingenieros a tiempo completo. El costo mensual de la suscripción fue de unos $500, mientras que el precio equivalente basado en tokens sería de unos $5700. Claude era más barato pero menos estricto, mientras que Codex era más caro pero mejor en la verificación de GUI. El equipo planea mover a Codex a un rol de piloto de GUI y usar un modelo más simple para la auditoría.