GitHub、AIコードレビュー専用の評価ベンチマーク「ReviewBench」を公開

GitHubは、AIエージェントによるコードレビューの精度を測定するためのオープンベンチマーク「ReviewBench」を公開しました。これは実際のGitHub上のプルリクエストから抽出されたデータセットと、複数のソースから得られた正解データを用いて構成されています。AIによるコード生成の評価手法は確立されつつありますが、レビューにおける指摘の正確性や修正案の妥当性を評価する標準的な枠組みは不足していました。

本ベンチマークでは、LLMが提示するコメントが人間の査読者と同等の品質であるかを、キャリブレーションされた評価指標によって判定します。従来の単純な文字列一致による評価とは異なり、開発現場の実情に近いマルチソースなGround Truth（正解）を採用している点が特徴です。これにより、GitHub Copilotなどのツールを含むAIエージェントが、どの程度実務に即したレビューを提供できるかを数値化して比較することが可能になります。

現在はGitHubのエコシステムに基づいたデータが中心ですが、評価対象となるAIモデルやエージェントの性能差を明らかにすることを目的としています。導入や検証に際しては、特定のプログラミング言語やリポジトリの傾向によって評価精度が変動する可能性があるため、提供されている評価指標の特性を確認した上でベンチマークを実行する必要があります。