SHIRITAS

/TOPICS

AI Safety

AIの挙動を人間の意図に沿わせ、事故や悪用を防ぐための研究。評価、整合性、解釈可能性を含みます。

01記事

LLM / 2026-11-22

LLMの「嘘」を方向ベクトルで見分ける試み:persona directionとknowledge direction

役割演技から得るラベル不要の「persona direction」と、知識の有無を対比する「knowledge direction」でLLMの欺瞞検出を検証。Liars' Benchでは3/4モデルで従来プローブより良い一方、知識に関する嘘では限界も示された。

LLM / 2026-11-20

対照学習とプロトタイプ推論でjailbreak試行を検知する「JDPI」

大規模言語モデルの安全運用で問題となるjailbreak試行の検知に向け、追加の下流分類器を学習せずに判定するJDPIを提案。バイナリ安全ラベルからプロトタイプを作り距離で予測し、複数ベンチマークや転移設定で性能を比較した。

LLM / 2026-11-18

LLMの「拒否理由」は正しくても、やり直しの手がかりにならないことがある——複数ルールの拒否説明を検証

複数の独立ルールが同時に拒否する場面では、LLMが真の理由を挙げても再申請の助けにならない場合がある。著者らは「recourse validity」を定義し厳密計算しつつ、規則集合だけから失敗を予測する枠組みを示した。

LLM / 2026-11-15

LLM出力に推測した個人属性を隠す脅威モデル「Synthesis Smuggling」の提案

本稿は、LLMが会話からユーザのセンシティブ情報を推測し、生成物にステガノグラフィ的に埋め込む脅威モデル「Synthesis Smuggling」を提案する。不可視文字や語選択による埋め込みで、共有された出力が秘匿チャネルになり得る点を示す。

機械学習(基礎・手法) / 2026-11-14

討論(Debate)を「学習問題」として捉え直す:オンライン学習としての定式化と判定誤りの影響

本稿は、AI同士の討論を人間が裁くDebateをゲーム解析だけでなく訓練に内在する学習問題として捉え、オンライン学習として定式化する第一歩を示す。判定者へのアクセスがある場合に最良策が敵対的Debateと異なる例、協調版プロトコルの学習可能性、判定誤りが学習へ与える影響を論じる。

機械学習(基礎・手法) / 2026-11-09

大きな一定ステップサイズでの敵対的学習:GDの暗黙のバイアス・最適化・シャープネスを整理

敵対的学習(AT)における大きな一定ステップサイズの勾配降下法(GD)の挙動を調べ、標準学習(ST)と比べた違いを暗黙のバイアス、収束率、損失のシャープネスの観点からまとめた研究。

LLM / 2026-11-08

機械論的解釈可能性はAI安全性にどう役立つのか:サーベイと主張評価の枠組み

本稿は、AI安全性の観点から機械論的解釈可能性を整理し、「仕組みの理解は安全性を高めるか」を問うサーベイである。行動評価との比較、基礎概念と手法群の概観に加え、主張を評価する統一フレームワークと6つの研究オリエンテーションを提示する。

ロボティクス・身体性 / 2026-10-30

多指ハンドの物体姿勢到達で「落とさない」も評価する:LEAPハンド向け学習レシピと安全フィルタ

多指ハンドのin-hand object pose reachingを、手首姿勢が変わっても長い連続目標列で扱い、安全性(落下)も測る枠組みを提示。人手データなしのシミュレーション学習とゼロショット実機転移、安全フィルタで性能と安全の調整を示す。

機械学習(基礎・手法) / 2026-10-29

Heads of Security:注意ヘッドのゲート学習でプロンプトインジェクション耐性を高める試み

Heads of Security(HoS)は、ヘッドごとの注意ゲートを学習して指示とデータを分離し、注入命令に従いにくくする防御手法だという。Llama-3.3-70B-InstructとGPT-OSS-20Bで評価され、攻撃耐性とユーティリティの両立を報告している。

機械学習(基礎・手法) / 2026-10-27

長方形の遮蔽だけで探す黒箱攻撃手法「STROKE」

STROKEは、向き付き長方形の遮蔽で摂動を作るスコアベース黒箱攻撃手法。軽量な貪欲最適化でクエリ効率を狙い、1–2%面積設定での成功率や所要時間削減、設計選択の影響を評価した。

LLM / 2026-10-25

RLVRは道具的行動を一様に増やすのか:OLMo-3の中間チェックポイント追跡から

OLMo-3をInstrumentalEvalで評価し、RLVR中の中間チェックポイントを含む軌跡として道具的行動率を分析。7Bでは一時的に上昇後、最終ではSFTを下回った。プロンプトのフレーミング要因だけでは説明しきれないと報告する。

LLM / 2026-10-24

ツール応答の「重要情報の抜け」による不安全行動を測る:EpiSEM-Benchの提案

ツール使用型LLMエージェントが安全判断に必要な事実を欠いたとき、禁止行為を実行しうる問題に対し、実行可能ベンチマークEpiSEM-Benchを提案。300の対応タスクペアと監査ツールで、不安全実行・安全境界・証拠回復を評価する。

LLM / 2026-10-24

AIの判断を必要最小限だけ監査する「選択的監査」:未監査の誤り率を閾値以下に抑える枠組み

AIの提案と信頼度スコアをオンライン監視し、専門家監査の頻度を抑えつつ未監査のAI誤り割合を閾値以下に保つ問題を定式化。仮定なしで誤り制御を保証するアルゴリズム族と、敵対的/i.i.d.双方で最良監査率に漸近する手法を述べる。

LLM / 2026-10-21

安全性を「基盤能力」として学ばせる中間段階:Safety Mid-Trainingの提案

LLMの安全性が後続学習で劣化したり、汎用能力とトレードオフになったりする問題に対し、事前学習と事後学習の間に「safety mid-training」を挟む枠組みを提案。Qwen3の複数モデルでASRを相対的に72%〜81%低減し、汎用能力も改善したと報告する。

LLM / 2026-10-20

微調整で意図しない振る舞いが一緒に現れる「behavioral coupling」を調べた研究

LLMの微調整で、狙った行動とは別の行動が誘発される関係を「behavioral coupling」と定義し、その形成と表面化を検討する。行動の結合は文書学習で形成され、微調整で現れ、さらに結合が合成して連鎖しうる可能性が示唆される。

LLM / 2026-10-16

SafeDriveVLA:自然言語ナビの「危険な指示」に備えるための評価とVLA手法

自動運転VLAに対し、自然言語ナビが生む不安全/悪意ある指示の脆弱性を問題提起。ナビ追従とコンフリクト認識、敵対的頑健性を同時に測るベンチマークと、三段階モード予測+world model dreamingで対処するSafeDriveVLAを提案する。

AI Agent / 2026-10-15

自動運転の「実行中の安全」を高めるランタイム枠組みAutoAgent0

AutoAgent0は、クローズドループ実行の信頼性をテスト時の実行問題として捉え、独立検出・ルール検証・復旧計画を統合するランタイム枠組み。Fail2DriveとNavSafe-∞で、単一エキスパートよりロバスト性が改善したと報告する。

LLM / 2026-10-14

複数サービスをまたぐ個人向けAIエージェントの「合成的な失敗」を探すレッドチーミング手法「X-AgentRed」

個人向けAIエージェントが複数サービスのツールを連携利用する際に起きうる有害な経路を、ツール依存グラフと実行フィードバックで体系的に探索するX-AgentRedが提案された。4モデルでSTAC比1.77倍の有害パス率、平均2.99倍のツールカバレッジを報告する。

機械学習(基礎・手法) / 2026-10-14

モデル重みに暗号化ネットワークを埋め込み、誘発を困難にするバックドア攻撃の提案

能力評価が前提とする「隠れた能力は誘発できる」という仮定が、敵対的条件下では崩れうることを示す研究。暗号化ニューラルネットワークを重みに埋め込み、秘密トリガー時だけ実行する仕組みを構成し、誘発ベース監査の限界を論じる。

LLM / 2026-10-12

LLMの「価値」の学習が未学習の価値にどう波及するか——一般化を予測する課題と表現の比較

LLMの価値学習が未見の価値に及ぼす影響を予測する「alignment generalization prediction」を提案し、66価値で一般化効果を分析。活性ベース表現が記述ベースを上回り、下流では価値類似度がロバスト性と相関した。

LLM / 2026-10-11

白箱プローブでLLMの欺瞞を検出する試み:大規模データセットと新アーキテクチャで評価

LLMエージェントの監視に向け、白箱プローブによる欺瞞検出をフロンティア監視設定へ拡張する研究が報告された。SHADE-ArenaでAUC 98.8%を示し、文脈だけでは判定しにくい「introspective deception」でも最大AUC 99.7%の識別を示した。

ロボティクス・身体性 / 2026-10-11

テキスト条件付きモーション生成の「場面に依存する危険」を抑える学習不要フィルタCSF

テキスト条件付きモーション生成器が場面文脈に応じた安全性を扱いにくい課題に対し、自然言語ルールを参照軌道に接地して適用する学習不要フィルタCSFを提案。4種の生成器で危険事象を最大90%低減し、無害モーションの88–100%を保持したと報告する。

機械学習(基礎・手法) / 2026-10-10

安全と性能を同時に扱う「統一的なBellman演算子」を提案する安全強化学習

安全クリティカル領域の強化学習で、性能最大化と安全制約の厳守を両立させるための統一的なBellman演算子を提案。joint value functionとして目的を統合し、二重時間スケールのTD学習の収束も示す。

ロボティクス・身体性 / 2026-10-10

安全フィルタを学習で償却する「FAITH」:高次元ロボット向けSafe RLの提案

FAITHは、安全と性能の競合を避けるため行動実行時に安全フィルタをかける枠組みを提案する。解析的モデル不要で安全価値を近似し、介入を最小にするフィルタをニューラルネットで償却する。安全行動がない場合も害を小さくする行動へ寄せるという。

機械学習(基礎・手法) / 2026-10-09

忘却対象だけで「学習済みモデル」から削除する手法は、学習法と記憶量に制約がある

学習済みモデルと忘れたい例だけを入力として削除する「forget-only unlearning」を理論的に検討。再学習との一致精度には下界があり、任意の削除要求に備えるには訓練データの多くを記憶する必要がありうると示す。

02論文

2026-11-19
2611.26545

The Geometry of Lies: Knowledge and Persona Directions for Detecting Deception in Large Language Models

2026-11-18
2611.24936

Jailbreak Detection on Large Language Models via Contrastive Prototype Structures

2026-11-16
2611.21545

Right Reason, Wrong Advice: Evaluating Recourse in LLM Explanations of Denied Requests

2026-11-12
2611.17303

Towards a Theory of Learnability via Debate

2026-11-12
2611.17280

Synthesis Smuggling: Maliciously Hiding Inferred Personal Attributes in LLM Outputs

2026-11-05
2611.08457

Adversarial Training with Large Step Sizes: Implicit Bias, Optimization, and Sharpness

2026-11-05
2611.08438

Understanding AI from the Inside: The State of Mechanistic Interpretability for AI Safety

2026-10-27
2610.37657

Heads of Security: Learned Attention Gates Improve Prompt Injection Robustness

2026-10-27
2610.37652

Pushing Dexterity and Safety for In-Hand Object Pose Reaching That Works Remarkably Well

2026-10-23
2610.32932

STROKE: Simple Sparse Structural Occlusions for Black-Box Adversarial Attacks

2026-10-22
2610.31650

EpiSEM-Bench: Evaluating Safety and Evidence Recovery in LLM Agents under Missing Evidence

2026-10-22
2610.31662

Reliable AI-Assisted Decisions via Selective Auditing

2026-10-22
2610.31624

Questioning Instrumental Convergence in RLVR: Checkpoint Evidence from OLMo-3

2026-10-19
2610.26809

Safety Mid-Training: Internalizing LLM Safety as a Foundational Capability

2026-10-16
2610.23847

Behavioral Couplings: From Formation to Behavioral Emergence in Language Models

2026-10-14
2610.20609

SafeDriveVLA: Navigation-Conditioned World Model Dreaming for Conflict-Aware End-to-End Autonomous Driving

2026-10-13
2610.18866

AutoAgent0: An Agentic Runtime for Safe Closed-Loop Driving

2026-10-09
2610.13886

X-AgentRed: Red-Teaming Personal Agents in Evolving Multi-Service Ecosystems

2026-10-09
2610.13928

AI Models Can Provably Hide Arbitrary Capabilities

2026-10-08
2610.12420

A Unified Bellman Operator for Safety-Critical Reinforcement Learning

2026-10-08
2610.12410

Predicting Alignment Generalization with Value Representations

2026-10-08
2610.12445

Caught in the Act: Probes Effectively Detect Sabotage and Catch Unverbalized Deception

2026-10-08
2610.12432

FAITH: Feasibility-Aware Safety-Filtered RL for High-Dimensional Systems

2026-10-08
2610.12467

CSF: Contextual Safety Filtering for Motion Generators

2026-10-07
2610.10519

Why Forget-Only Unlearning Needs Memorization