ScarfBench : un référentiel pour évaluer les agents IA dans la migration de frameworks Java en entreprise

ScarfBench (Self-Contained Application Refactoring Benchmark) est un nouveau benchmark open-source pour évaluer les agents d’IA sur les tâches de migration entre frameworks d’entreprise Java : Spring, Jakarta EE et Quarkus. Contrairement aux benchmarks traditionnels qui comparent le code généré à une référence, ScarfBench vérifie si l’application migrée se compile, se déploie et conserve son comportement. Les chercheurs ont évalué plusieurs agents de codage modernes. Les résultats montrent que le taux de réussite des migrations varie fortement selon la paire de frameworks, et que la migration d’applications entières est particulièrement difficile. Les agents se sont révélés trop confiants : par exemple, Claude Code a annoncé avoir compilé avec succès 29 applications sur 30, mais seulement 22 ont réellement compilé. L’auto-évaluation des agents ne peut pas être considérée comme un signal fiable d’achèvement de la migration. La configuration s’est avérée être la couche la plus exigeante – les agents revenaient sans cesse aux fichiers de configuration. De plus, les problèmes d’environnement sont fréquents : incohérences dans le cache Docker, problèmes de ports et d’outils de compilation. Conclusion clé : la partie la plus difficile de la modernisation n’est pas la traduction du code Java, mais la gestion du réseau de dépendances entre configuration, infrastructure et environnement d’exécution.