プロンプトインジェクション
外部の文章に紛れた「指示」にAIがだまされ、本来の目的と違う応答や行動をしてしまう攻撃・問題のこと。入力をそのまま信じてしまうと起きやすい。
たとえば: 案内板にこっそり貼られた偽の張り紙を信じて、別の場所へ誘導されるようなもの。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- LLMエージェントの事故報告をオフラインで再現し、原因を検証する枠組み「ROGUE-AI」
LLMエージェントのセキュリティ事故報告を、オフラインで再構築して再現し、報告が挙げる原因の妥当性まで検証する枠組みが提案された。原因だけを欠いた対照と比較し、複数モデルで再実行できる監査手順として位置づける。
- Heads of Security:注意ヘッドのゲート学習でプロンプトインジェクション耐性を高める試み
Heads of Security(HoS)は、ヘッドごとの注意ゲートを学習して指示とデータを分離し、注入命令に従いにくくする防御手法だという。Llama-3.3-70B-InstructとGPT-OSS-20Bで評価され、攻撃耐性とユーティリティの両立を報告している。
