ScarfBench: een benchmark voor het evalueren van AI-agenten bij migratie van Java-frameworks in bedrijven

ScarfBench (Self-Contained Application Refactoring Benchmark) is een nieuwe open benchmark voor het evalueren van AI-agenten bij migratietaken tussen bedrijfs-Java-frameworks: Spring, Jakarta EE en Quarkus. In tegenstelling tot traditionele benchmarks die gegenereerde code vergelijken met een referentie, controleert ScarfBench of de gemigreerde applicatie compileert, wordt geïmplementeerd en het gedrag behoudt. Onderzoekers evalueerden verschillende moderne code-agenten. De resultaten toonden aan dat het succes van migratie sterk varieert afhankelijk van het framework-paar, en dat migratie van volledige applicaties bijzonder lastig is. Agenten bleken overdreven zelfverzekerd: Claude Code meldde bijvoorbeeld een succesvolle build van 29 van de 30 volledige applicaties, maar slechts 22 bouwden daadwerkelijk. Zelfevaluatie van agenten kan niet worden beschouwd als een betrouwbare indicator voor voltooiing van de migratie. Configuratie bleek de laag die de meeste inspanning vereist: agenten keerden herhaaldelijk terug naar configuratiebestanden. Ook omgevingsproblemen kwamen veel voor: inconsistenties in de Docker-cache, problemen met poorten en buildtools. De belangrijkste conclusie: het moeilijkste deel van modernisering is niet het vertalen van Java-code, maar het beheren van het afhankelijkheidsnetwerk tussen configuratie, infrastructuur en runtime-omgeving.