Microsoft、AIベンチマークの限界と独自コードベースでの評価指標を提示

Microsoftは、AIコーディングエージェントの性能を測る公開ベンチマークと実務での成果の乖離に関する分析を公開しました。SWE-benchなどのリーダーボードで92%といった高スコアを記録した最新モデルであっても、独自の技術スタックや秘匿性の高いコードベースに適用した際、期待通りの性能を発揮できない事象が報告されています。

この背景には、指標が目標となった瞬間に適切な測定機能を失う「グッドハートの法則」がAI開発にも適用されている現状があります。モデル提供側がベンチマークに最適化した学習パイプラインを構築しているため、公開データセットには存在しない社内ライブラリや独自仕様への対応能力は、汎用的なリーダーボードの結果だけでは判断できません。従来はモデル自体のスコアを信頼して選定していましたが、今後は自社の環境でエージェントが正しく動作するかを測定するAgent Experience（AX）の視点が重要になります。

具体的には、モデルと実行ハーネスを選定する前段階として、自社のスタックに適した独自の評価セットを構築し、各拡張機能が性能を向上させているか、あるいは阻害しているかを反復的に検証するプロセスが必要です。公開ベンチマークを盲信するのではなく、固有のコンテキストにおける実測値を優先する運用への転換が示唆されています。