能力評価
AIモデルが危険なことをできないか、どんなことができるかを、決めた条件やテストで確認する作業。実運用の前にリスクを見つける目的で行われる。
たとえば: 新しい家電を売る前に、想定外の動作をしないか点検するテストのようなもの。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- モデル重みに暗号化ネットワークを埋め込み、誘発を困難にするバックドア攻撃の提案
能力評価が前提とする「隠れた能力は誘発できる」という仮定が、敵対的条件下では崩れうることを示す研究。暗号化ニューラルネットワークを重みに埋め込み、秘密トリガー時だけ実行する仕組みを構成し、誘発ベース監査の限界を論じる。
