IBM Research、Javaのフレームワーク移行に特化した評価指標ScarfBenchを公開

IBM Researchは、AIエージェントがエンタープライズJavaアプリケーションのフレームワーク移行をどの程度完遂できるかを評価するためのオープンベンチマーク「ScarfBench」を公開しました。従来のソフトウェアエンジニアリング向けベンチマークが主に単発のバグ修正やコード生成の精度に焦点を当てていたのに対し、本指標はクロスフレームワーク移行における挙動の維持や依存関係の解決能力を測定対象としています。

ScarfBenchでは、コードの単純な変換だけでなく、ビルドシステムの適応や複雑なランタイム依存のナビゲーションといった実務上の障壁を評価項目に含めています。最新のフロンティアモデルを用いたAIエージェントが、移行作業の完了を正確に判断できるか、あるいはどの工程に最もリソースを消費しているかを可視化する設計が特徴です。

検証結果からは、AIエージェントがコードの翻訳には成功しても、アプリケーション全体の動作整合性やビルド構成の修正において依然として課題を抱えている実態が示されました。開発現場での導入に際しては、エージェントが依存関係を正しく把握できているか、移行後のテストを自動でパスできるかといった評価スコアを個別に確認する必要があります。