Microsoft、AIコーディングエージェント評価時のサンドボックスによる情報遮断の重要性を指摘

Microsoftは、AIコーディングエージェントの性能評価において、実行環境となるサンドボックスの構成が評価結果の妥当性を左右することを指摘しました。AIエージェントは未知のAPIやエラーに直面すると、ソースコードやインストール済みのツール、ウェブ検索などを通じて自律的に情報を探索する特性を持っています。このため、評価スコアが「モデル自身の知識」によるものか「環境からの情報取得」によるものかが不明瞭になり、測定結果が無効化されるリスクがあります。

従来、多くの評価では正解率などの結果のみが重視されてきましたが、今後は評価目的に応じた情報境界の設定が不可欠となります。例えば、特定のリポジトリ操作能力を測る場合はリポジトリへのアクセスを許可する一方で、モデル内部の知識をテストする場合には関連するドキュメントや証拠となるファイルへのアクセスを遮断しなければなりません。リソースへのアクセスを制限せずに高いスコアが出た場合、それは単にエージェントが検索に成功しただけであり、モデルの真の能力を反映していない可能性があります。

検証環境を構築する際は、まずエージェントに許可するツールの範囲を個別に定義する工程が必要です。ウェブアクセス、ローカルファイルの読み取り、インストール済みCLIツールの実行権限などを制御することで、評価の汚染を防ぎます。特に未知のAPIに関する調査能力をテストする場合と、既存製品の動作理解をテストする場合では、サンドボックスに課すべき制約が正反対になる点に注意して運用すべきです。