Prompt Hijackingとは
PROMPT HIJACKING
読み: プロンプトハイジャッキング
Prompt Hijackingとは、大規模言語モデル（LLM）に対して、本来の指示とは異なる悪意のある指示を注入し、意図しない動作をさせる攻撃手法である
読み: プロンプトハイジャッキング
かんたんに言うと
かんたんに言うと、多モーダルAIに悪い命令をこっそり混ぜて、変なことをさせる攻撃のことである。
Prompt Hijackingの手口
Prompt Hijackingは、様々な手口で行われる。例えば、ユーザーの入力に紛れ込ませて悪意のある指示を注入する手法や、LLMが参照する外部データに不正な情報を埋め込む手法などが存在する。また、LLMの脆弱性を利用して、内部の動作を書き換えるような高度な攻撃も考えられる。これらの攻撃は、LLMの利用者が気づかないうちに実行されることが多い。
Prompt Hijackingによるリスク
Prompt Hijackingが成功すると、様々なリスクが生じる。機密情報が外部に漏洩する可能性がある。また、LLMが差別的な発言や有害なコンテンツを生成してしまう可能性もある。さらに、LLMの動作が不安定になり、サービス全体の信頼性が低下する恐れもある。企業や組織は、これらのリスクを認識し、適切な対策を講じる必要がある。
Prompt Hijackingへの対策
Prompt Hijackingへの対策は、多層的なアプローチが求められる。入力データの厳格な検証、LLMのセキュリティ脆弱性の修正、出力データの監視などが重要である。また、LLMの挙動を監視し、異常な動作を検知する仕組みも有効である。さらに、LLMの利用者にセキュリティに関する教育を行うことも、重要な対策の一つである。