Google Security Blog、技術仕様の更新内容を公表

Googleは、実際の運用環境においてLLM（大規模言語モデル）を標的としたプロンプトインジェクション攻撃がどのように行われているか、その現状を報告しました。従来のWebアプリケーションにおけるSQLインジェクションと同様に、ユーザー入力がモデルへの命令として誤認されるリスクが顕在化しており、特に外部ツールやAPIと連携するAIエージェント型システムでの被害が懸念されています。

攻撃の手法としては、直接的なテキスト入力だけでなく、Webサイト上の隠しテキストやメタデータに攻撃命令を仕込む「間接的プロンプトインジェクション」の事例が確認されています。これにより、信頼されたソースを読み込んだAIが意図しないアクションを実行したり、機密情報を外部サーバーへ送信したりするリスクが生じています。従来型の文字列フィルタリングのみでは防げないケースが多く、モデルの出力に対する検証プロセスの重要性が増しています。

対策として、システムプロンプトの厳格化や出力のサンドボックス化が挙げられていますが、攻撃手法も巧妙化しているため、完全な防御は困難であると指摘されています。開発者は、LLMに与える権限を最小限に抑えるとともに、実行結果をユーザーが最終確認するフローを組み込むなどの設計上の配慮が求められる状況です。