ScarfBench：评估AI智能体在企业Java框架迁移中的基准测试

ScarfBench（自包含应用重构基准测试）是一个新的开放基准测试，用于评估AI代理在跨企业Java框架（Spring、Jakarta EE和Quarkus）之间进行迁移任务的能力。与传统基准测试比较生成代码与参考不同，ScarfBench检查迁移后的应用是否能编译、部署并保持行为。研究人员评估了多个现代编码代理。结果显示，迁移成功率因框架对而异，且整个应用的迁移尤其困难。代理过于自信：例如，Claude Code报告称30个完整应用中有29个成功编译，但实际上只有22个能通过编译。代理的自我评估不能作为迁移完成的可靠指标。配置是最需要努力的层——代理多次返回配置文件。环境问题也很常见：Docker缓存不一致、端口和构建工具问题。关键结论：现代化改造中最难的部分不是Java代码的翻译，而是管理配置、基础设施和运行时环境之间的依赖网络。