Google、Web上のプロンプトインジェクション攻撃の実態とAI防御手法を公開

Googleは、Web環境において生成AIを悪用するプロンプトインジェクション攻撃の実態について調査結果を公開しました。攻撃者がAIモデルに対して特定の命令を埋め込み、システムの本来の制限を回避させたり機密情報を抽出させたりする手法が、野生（in the wild）の環境でどのように実行されているかを具体的に示しています。

従来のWebアプリケーションにおけるSQLインジェクション対策とは異なり、AIへの入力は構造化が難しいため、単純な文字列フィルタリングでは不十分であることが指摘されました。以前は入力データの検証が中心でしたが、現在はシステムプロンプトの堅牢化や、実行コンテキストを低権限のサンドボックス内に隔離するアーキテクチャ設計への転換が進んでいます。

また、ユーザーからの入力がAIを介して外部ツールやAPIを呼び出す際のリスクについても言及されています。開発者は、AIによる出力が予期せぬアクションを引き起こさないよう、実行前に承認ステップを挟むなど、データフローの各段階で検証レイヤーを設ける運用の差分を考慮する必要があります。