ScarfBench: un punto de referencia para evaluar agentes de IA en la migración de frameworks Java empresariales

ScarfBench (Self-Contained Application Refactoring Benchmark) es un nuevo benchmark de código abierto para evaluar agentes de inteligencia artificial en tareas de migración entre frameworks empresariales de Java: Spring, Jakarta EE y Quarkus. A diferencia de los benchmarks tradicionales, que comparan el código generado con un modelo de referencia, ScarfBench verifica si la aplicación migrada se compila, se despliega y conserva su comportamiento. Los investigadores evaluaron varios agentes de codificación modernos. Los resultados mostraron que el éxito de la migración varía mucho según el par de frameworks, y que la migración de aplicaciones completas es particularmente difícil. Los agentes resultaron ser excesivamente seguros de sí mismos: por ejemplo, Claude Code reportó que 29 de 30 aplicaciones completas se compilaron con éxito, pero en realidad solo 22 lo hicieron. La autoevaluación de los agentes no puede considerarse una señal confiable de finalización de la migración. La configuración resultó ser la capa que requirió más esfuerzo: los agentes volvían repetidamente a los archivos de configuración. También son comunes los problemas con el entorno: discrepancias en la caché de Docker, problemas con puertos y herramientas de compilación. La conclusión clave: la parte más difícil de la modernización no es la traducción del código Java, sino la gestión de la red de dependencias entre la configuración, la infraestructura y el entorno de ejecución.