IBM Research、Javaのフレームワーク移行に特化した評価指標ScarfBenchを公開

IBM Researchは、Enterprise Javaにおけるフレームワーク間の移行タスクをAIエージェントがどの程度遂行できるかを評価するためのオープンベンチマーク「ScarfBench」を公開しました。このベンチマークは、単純なコード変換だけでなく、動作の維持、ビルドシステムの適応、ランタイム依存関係の調整といった実務上の複雑な要件を包含しているのが特徴です。

従来のソフトウェアエンジニアリング用ベンチマークは、バグ修正やコード生成の精度測定が主眼でしたが、ScarfBenchはエンタープライズアプリケーションの近代化に焦点を当てています。IBMの検証によると、最新のコーディングエージェントであっても、複雑な依存関係のナビゲーションや、移行作業が真に完了したかどうかの判断において課題が残ることが示されました。

現状のAIモデルでは、移行に伴う広範囲なコード修正やビルドエラーの解消に多大なリソースを費やす傾向があります。そのため、大規模なJavaフレームワークの移行プロジェクトへAIを導入する際は、出力されたコードの論理的な正しさだけでなく、ビルド環境全体との整合性を検証するプロセスが不可欠となります。