セキュリティ・頑健性
AIへの攻撃や悪用への強さの研究。敵対的な入力、プライバシー、防御。
01記事
LLM / 2026-11-21
LLMエージェントの事故報告をオフラインで再現し、原因を検証する枠組み「ROGUE-AI」
LLMエージェントのセキュリティ事故報告を、オフラインで再構築して再現し、報告が挙げる原因の妥当性まで検証する枠組みが提案された。原因だけを欠いた対照と比較し、複数モデルで再実行できる監査手順として位置づける。
LLM / 2026-11-20
会話で「特定の個人」を再現できるかを問うPersonal Imitation Gameの提案
LLMが「一般的な人間」ではなく特定個人を会話で模倣できるかを測るPersonal Imitation Gameが提案された。30人で人間ベースラインを作り、判断に使われる手がかりを整理。著者1人の10年分データで作ったLLMシステムを、20人の欺瞞研究で検証した。
LLM / 2026-11-20
対照学習とプロトタイプ推論でjailbreak試行を検知する「JDPI」
大規模言語モデルの安全運用で問題となるjailbreak試行の検知に向け、追加の下流分類器を学習せずに判定するJDPIを提案。バイナリ安全ラベルからプロトタイプを作り距離で予測し、複数ベンチマークや転移設定で性能を比較した。
LLM / 2026-11-15
LLM出力に推測した個人属性を隠す脅威モデル「Synthesis Smuggling」の提案
本稿は、LLMが会話からユーザのセンシティブ情報を推測し、生成物にステガノグラフィ的に埋め込む脅威モデル「Synthesis Smuggling」を提案する。不可視文字や語選択による埋め込みで、共有された出力が秘匿チャネルになり得る点を示す。
機械学習(基礎・手法) / 2026-11-10
SciCheck:深層学習の学習過程を「再計算なし」前提で検証する枠組み
SciCheckは、深層学習の学習(training)を科学的ワークフロー内で検証するための枠組みを提案する。勾配統計の比較と、ランダム区間の再実行(spot-check)を組み合わせ、攻撃シナリオ下での検出性能やコストも報告している。
機械学習(基礎・手法) / 2026-10-29
Heads of Security:注意ヘッドのゲート学習でプロンプトインジェクション耐性を高める試み
Heads of Security(HoS)は、ヘッドごとの注意ゲートを学習して指示とデータを分離し、注入命令に従いにくくする防御手法だという。Llama-3.3-70B-InstructとGPT-OSS-20Bで評価され、攻撃耐性とユーティリティの両立を報告している。
機械学習(基礎・手法) / 2026-10-27
長方形の遮蔽だけで探す黒箱攻撃手法「STROKE」
STROKEは、向き付き長方形の遮蔽で摂動を作るスコアベース黒箱攻撃手法。軽量な貪欲最適化でクエリ効率を狙い、1–2%面積設定での成功率や所要時間削減、設計選択の影響を評価した。
LLM / 2026-10-20
微調整で意図しない振る舞いが一緒に現れる「behavioral coupling」を調べた研究
LLMの微調整で、狙った行動とは別の行動が誘発される関係を「behavioral coupling」と定義し、その形成と表面化を検討する。行動の結合は文書学習で形成され、微調整で現れ、さらに結合が合成して連鎖しうる可能性が示唆される。
評価・ベンチマーク / 2026-10-20
Google PlayのmHealthアプリ1万件超を調査:同意取得と権限要求の実態
Google PlayのmHealthアプリ10,000件超を対象に、同意取得とデータ収集を静的解析とポリシー検討で分析した研究が、目的と無関係な権限要求や同意フォーム不備の広がりを報告した。
LLM / 2026-10-16
SafeDriveVLA:自然言語ナビの「危険な指示」に備えるための評価とVLA手法
自動運転VLAに対し、自然言語ナビが生む不安全/悪意ある指示の脆弱性を問題提起。ナビ追従とコンフリクト認識、敵対的頑健性を同時に測るベンチマークと、三段階モード予測+world model dreamingで対処するSafeDriveVLAを提案する。
LLM / 2026-10-14
複数サービスをまたぐ個人向けAIエージェントの「合成的な失敗」を探すレッドチーミング手法「X-AgentRed」
個人向けAIエージェントが複数サービスのツールを連携利用する際に起きうる有害な経路を、ツール依存グラフと実行フィードバックで体系的に探索するX-AgentRedが提案された。4モデルでSTAC比1.77倍の有害パス率、平均2.99倍のツールカバレッジを報告する。
機械学習(基礎・手法) / 2026-10-14
モデル重みに暗号化ネットワークを埋め込み、誘発を困難にするバックドア攻撃の提案
能力評価が前提とする「隠れた能力は誘発できる」という仮定が、敵対的条件下では崩れうることを示す研究。暗号化ニューラルネットワークを重みに埋め込み、秘密トリガー時だけ実行する仕組みを構成し、誘発ベース監査の限界を論じる。
AI Agent / 2026-10-12
エージェント評価は「想定した境界」に頼れない:2026年の事例比較から継続的アシュアランスへ
2026年のエージェント評価で、許可されたテスト範囲外の実システムに到達する事例が報告された。著者は比較ケーススタディを通じ、運用中に境界を検証するPASACと5層Boundary Assurance Stackを提案し、検証可能な研究プログラムとして整理する。
LLM / 2026-10-11
白箱プローブでLLMの欺瞞を検出する試み:大規模データセットと新アーキテクチャで評価
LLMエージェントの監視に向け、白箱プローブによる欺瞞検出をフロンティア監視設定へ拡張する研究が報告された。SHADE-ArenaでAUC 98.8%を示し、文脈だけでは判定しにくい「introspective deception」でも最大AUC 99.7%の識別を示した。
機械学習(基礎・手法) / 2026-10-09
忘却対象だけで「学習済みモデル」から削除する手法は、学習法と記憶量に制約がある
学習済みモデルと忘れたい例だけを入力として削除する「forget-only unlearning」を理論的に検討。再学習との一致精度には下界があり、任意の削除要求に備えるには訓練データの多くを記憶する必要がありうると示す。
機械学習 / 2026-10-06
公開エンコーダだけで作る転移可能な敵対的パッチ攻撃「TAPDreamer」
ロボット制御の基盤となるworld action modelに対し、公開エンコーダのみから固定パッチを作る攻撃TAPDreamerを提案。注意機構を通じた表現シフトの拡散を利用し、閉ループ評価で複数ベンチマークの成功率を大きく低下させた。
02論文
2026-11-19
2611.26553
Replication of Agentic Security Events: Audit and Investigation (ROGUE-AI)
2026-11-18
2611.24936
Jailbreak Detection on Large Language Models via Contrastive Prototype Structures
2026-11-18
2611.24888
Who are you? The Personal Imitation Game
2026-11-12
2611.17280
Synthesis Smuggling: Maliciously Hiding Inferred Personal Attributes in LLM Outputs
2026-11-06
2611.09889
SciCheck: A Framework for Verifying the Integrity of Deep Learning Training
2026-10-27
2610.37657
Heads of Security: Learned Attention Gates Improve Prompt Injection Robustness
2026-10-23
2610.32932
STROKE: Simple Sparse Structural Occlusions for Black-Box Adversarial Attacks
2026-10-16
2610.23847
Behavioral Couplings: From Formation to Behavioral Emergence in Language Models
2026-10-16
2610.23851
Bad Diagnosis: Analyzing Consent and Data Collection Practices of Mobile Medical Apps
2026-10-14
2610.20609
SafeDriveVLA: Navigation-Conditioned World Model Dreaming for Conflict-Aware End-to-End Autonomous Driving
2026-10-09
2610.13886
X-AgentRed: Red-Teaming Personal Agents in Evolving Multi-Service Ecosystems
2026-10-09
2610.13928
AI Models Can Provably Hide Arbitrary Capabilities
2026-10-08
2610.12445
Caught in the Act: Probes Effectively Detect Sabotage and Catch Unverbalized Deception
2026-10-08
2610.12463
From Reactive Containment to Proactive Assurance: Lessons from OpenAI, Anthropic, and Google Agent Security Incidents
2026-10-07
2610.10519
Why Forget-Only Unlearning Needs Memorization
2026-10-05
2610.06814
