arXivでLLMエージェントを狙うツール乗っ取り手法「MemMorph」が公開、メモリ汚染を悪用

研究論文 arXiv:2605.26154 にて、LLMエージェントを対象とした新たな攻撃手法「MemMorph」が公開されました。この手法は、エージェントが利用する長期記憶や外部ツール実行用のコンテキストを「汚染(Poisoning)」することで、攻撃者が意図したツールを実行させる、あるいは本来の動作を乗っ取るツールハイジャックを実現します。
従来の攻撃手法の多くは、入力プロンプトに悪意ある指示を紛れ込ませるものでしたが、MemMorphはメモリ構造そのものを標的にします。具体的には、エージェントが過去のやり取りや設定として保持するデータに干渉し、ツール呼び出し時のパラメータや対象を動的に変更させます。これにより、LLMが信頼済みとして扱うツール群に対して、認証回避や意図しないデータ操作を強制的かつ持続的に実行させるリスクが生じます。
実験では特定のメモリ構成を持つエージェントにおいて、検知を回避しながら高確率でツールの制御権を奪取できることが示されました。開発者は、外部からの情報を長期記憶へ統合する際のサニタイズ処理や、ツール呼び出し時の動的なバリデーションの強化を検討する段階にあります。また、使用しているライブラリやフレームワークが、メモリへの書き込み権限をどのように制御しているかの再確認が求められます。
Related tools
この記事に関連するおすすめツール
比較検討しやすい導入候補を優先して表示しています。一部リンクは広告・アフィリエイトを含む場合があります。
フェレット記者の用語メモ
llm
LLM(大規模言語モデル)は、大量のテキストデータで学習されたAIモデルで、人間のような自然な文章を生成したり、質問に答えたりできるんだ。最近はChatGPTやGeminiが有名だね。ただ、学習データに偏りがあると差別的な表現を生成したり、事実と異なる情報を『もっともらしく』話すハルシネーションを起こしたりする落とし穴があるよ。特に、企業で使う場合は出力のファクトチェックとフィルタリングが必須だね。
比較: BERT
出典: arXiv
要点を短く整理して掲載しています。詳細は出典を確認してください。