GitHub、シークレットスキャンへのLLM導入で得た本番前の評価手法を共有

GitHubは、GitHub Copilotなどの開発ツールや自社のセキュリティ機能において大規模言語モデル（LLM）を実運用へ投入する前に実施すべき評価フレームワークを公開しました。特に、シークレットスキャン機能でのLLM活用を通じて得られた知見として、入力データの微細な差異が生成結果を大きく変えるLLM特有の挙動に対処するための評価手法を提示しています。

従来、セキュリティツールの評価は「パスか失敗か」を判定するユニットテストや正規表現に基づく決定論的な手法が主流でしたが、LLMの評価ではモデルの出力に含まれる「ハルシネーション（幻覚）」の定量的測定が必須となります。GitHubは、開発ライフサイクルの各段階でゴールデンデータセットを用いた比較評価を繰り返し、コスト・遅延・精度のトレードオフを継続的に追跡する体制を構築しました。

本番環境への導入にあたっては、モデルの応答が安定しているかを確認する「信頼性評価」と、実際の攻撃ベクトルや誤検知を模した「敵対的評価」の二軸で検証が行われています。一方で、モデルをアップデートするたびに評価指標が変動する可能性があるため、プロンプトの調整やモデルバージョンの固定など、運用時の依存関係を厳格に管理するプロセスが求められます。