IBMとArtificial Analysis、エージェントAI向けITタスクベンチマークITBench-AAを公開

IBMとArtificial Analysisは、エージェント型AIがエンタープライズITタスクをどの程度遂行できるかを測定するベンチマーク「ITBench-AA」を共同開発し、Hugging Face上で公開しました。このベンチマークは、サイト信頼性エンジニアリング（SRE）をはじめとする実際のITインフラ運用におけるタスク実行能力を評価するもので、従来のテキスト生成や単純な論理推論よりも実務に近い性能を可視化します。

公開された初期の評価結果によれば、現在のフロンティアモデルの多くがITBench-AAにおいて50%未満のスコアに留まっていることが明らかになりました。一般的な汎用ベンチマークでは高い性能を示すモデルであっても、複雑なIT環境でのエージェントとしての動作や、多段階のトラブルシューティング能力には依然として大きな課題が残されている状況です。

ITBench-AAはITBenchをベースに構築されており、GitHubやHugging Faceのデータセットとして公開されています。今後はシリーズ化される予定ですが、現時点でのスコアが示す通り、多くのモデルがエンタープライズレベルのエージェントAIとして完全な自律運用を任せられる段階には達していないという定量的な評価基準が提供されました。