ポリシー回避
本来は禁止されている依頼や出力をさせるために、言い回しを工夫して安全ルールの制限をすり抜けようとすること。安全対策の想定外の抜け道を狙う。
たとえば: 入れないはずの場所に、言葉巧みに門番をだまして入ろうとする感じ。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 対照学習とプロトタイプ推論でjailbreak試行を検知する「JDPI」
大規模言語モデルの安全運用で問題となるjailbreak試行の検知に向け、追加の下流分類器を学習せずに判定するJDPIを提案。バイナリ安全ラベルからプロトタイプを作り距離で予測し、複数ベンチマークや転移設定で性能を比較した。
