レッドチーミング
システムが悪用されたり事故を起こしたりする可能性を見つけるために、あえて攻撃者の視点で試すテスト。弱点や想定外の動きを洗い出すのが目的。
たとえば: 泥棒役になって家に侵入できないか試し、鍵や窓の弱点を探す点検。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 複数サービスをまたぐ個人向けAIエージェントの「合成的な失敗」を探すレッドチーミング手法「X-AgentRed」
個人向けAIエージェントが複数サービスのツールを連携利用する際に起きうる有害な経路を、ツール依存グラフと実行フィードバックで体系的に探索するX-AgentRedが提案された。4モデルでSTAC比1.77倍の有害パス率、平均2.99倍のツールカバレッジを報告する。
