Hugging Face Blog、生成AI・推論基盤の更新内容を公表

IBM Researchは、Enterprise Javaアプリケーションのフレームワーク間移行におけるAIエージェントの性能を評価するための新しいベンチマーク「ScarfBench」を公開しました。このベンチマークは、単なるバグ修正やコード生成の能力測定ではなく、動作を維持したままのコード変換、ビルドシステムの適応、複雑な依存関係のナビゲーションといった、実世界のエンタープライズ領域で求められる移行プロセスをカバーしています。

ScarfBenchを用いた検証では、現在のフロンティアモデルによるAIエージェントが、移行タスクの完了を正確に判断できるか、あるいはアプリケーションの依存関係を適切に処理できるかといった点が焦点となります。従来の手法ではコードの翻訳に留まるケースが多く見られましたが、本ベンチマークではランタイム依存関係の解決を含めた「自己完結型のアプリケーションリファクタリング」としての整合性が求められる仕組みです。

検証結果からは、AIエージェントが最も労力を費やすプロセスや、コード変換以外の課題が浮き彫りになっています。特に大規模なエンタープライズJava環境では、単一ファイルの変換だけでなく、プロジェクト全体の整合性を保ちながら移行を完遂できるかが重要な評価軸となります。利用にあたっては、各エージェントがどの程度の複雑度まで依存関係を追跡可能か、個別のタスクスコアを確認する必要があります。