IBM Research、Javaフレームワーク移行に特化したAIエージェント評価基盤ScarfBenchを公開

IBM Researchは、Enterprise Javaにおけるフレームワーク移行タスクをAIエージェントがどの程度正確に実行できるかを評価するためのオープンベンチマーク「ScarfBench」を公開しました。従来のソフトウェア開発ベンチマークが主にコード生成やバグ修正の能力に焦点を当てていたのに対し、ScarfBenchは既存アプリケーションの振る舞いを維持したまま、異なるフレームワークへ移行させる能力を測定します。

このベンチマークでは、単なるコードの書き換えだけでなく、複雑な依存関係の解決やビルド構成の変更といった実務上の課題を評価対象に含めています。最新のフロンティアモデルを搭載したAIエージェントであっても、移行がいつ完了したかを正確に判断することや、実行時の依存関係を適切に処理することに課題があることが示されました。特にエンタープライズ領域では、コード変換以上にランタイム環境の整合性が移行の成否を分ける要因となります。

ScarfBenchを用いることで、AIエージェントがコードの翻訳を超えて、大規模なJavaアプリケーションのモダナイゼーションを自律的に完遂できるかを定量的に把握できるようになります。現在はフレームワーク間の移行に特化した設計となっており、特定のライブラリ更新やアーキテクチャ刷新におけるAIの限界値を測定する指標としての活用が想定されています。