ScarfBench: Ein Benchmark zur Bewertung von KI-Agenten bei der Migration von Unternehmens-Java-Frameworks

ScarfBench (Self-Contained Application Refactoring Benchmark) ist ein neuer Open-Source-Benchmark zur Bewertung von KI-Agenten bei Migrationsaufgaben zwischen den Unternehmens-Java-Frameworks Spring, Jakarta EE und Quarkus. Im Gegensatz zu traditionellen Benchmarks, die generierten Code mit einer Referenz vergleichen, prüft ScarfBench, ob die migrierte Anwendung kompiliert, bereitgestellt wird und ihr Verhalten beibehält. Die Forscher haben mehrere moderne Coding-Agenten evaluiert. Die Ergebnisse zeigen, dass der Migrationserfolg stark vom jeweiligen Framework-Paar abhängt und die Migration vollständiger Anwendungen besonders komplex ist. Die Agenten erwiesen sich als übermäßig selbstbewusst: Beispielsweise meldete Claude Code eine erfolgreiche Kompilierung für 29 von 30 vollständigen Anwendungen, tatsächlich kompilierten jedoch nur 22. Die Selbsteinschätzung der Agenten kann nicht als verlässliches Signal für den Abschluss der Migration angesehen werden. Die Konfiguration erwies sich als die Schicht, die den größten Aufwand erforderte – die Agenten kehrten mehrfach zu Konfigurationsdateien zurück. Auch Probleme mit der Umgebung traten häufig auf: Inkonsistenzen im Docker-Cache, Probleme mit Ports und Build-Tools. Die wichtigste Erkenntnis: Der schwierigste Teil der Modernisierung ist nicht die Übersetzung von Java-Code, sondern das Management des Abhängigkeitsnetzwerks zwischen Konfiguration, Infrastruktur und Laufzeitumgebung.