LLM
大規模言語モデルの学習、推論、評価に関する研究。
01記事
LLM / 2026-11-22
LLMの「嘘」を方向ベクトルで見分ける試み:persona directionとknowledge direction
役割演技から得るラベル不要の「persona direction」と、知識の有無を対比する「knowledge direction」でLLMの欺瞞検出を検証。Liars' Benchでは3/4モデルで従来プローブより良い一方、知識に関する嘘では限界も示された。
LLM / 2026-11-21
LLMエージェントの事故報告をオフラインで再現し、原因を検証する枠組み「ROGUE-AI」
LLMエージェントのセキュリティ事故報告を、オフラインで再構築して再現し、報告が挙げる原因の妥当性まで検証する枠組みが提案された。原因だけを欠いた対照と比較し、複数モデルで再実行できる監査手順として位置づける。
LLM / 2026-11-21
UVM回帰テスト合格でも残る仕様違反を、トレースと仕様の突合であぶり出す試み
UVMスコアボードをすり抜ける仕様違反(scoreboard escapes)に対し、合格トレースを仕様と照合するLLMベース枠組みを提示。OpenTitanの4IPで挿入バグを用い、候補68件のうち41件を確認した。
LLM / 2026-11-21
TideCache:ハイブリッドLLMの異種キャッシュを透過的に扱い、層単位ストリーミングでサービング効率を上げる提案
TideCacheは、ハイブリッド構成のLLMが持つ異種キャッシュのGPUメモリ配分と常駐管理を狙うサービング手法。固定仮想アドレスを保つキャッシュ管理と、層単位の事前フェッチを組み合わせ、SGLangで評価している。
LLM / 2026-11-20
会話で「特定の個人」を再現できるかを問うPersonal Imitation Gameの提案
LLMが「一般的な人間」ではなく特定個人を会話で模倣できるかを測るPersonal Imitation Gameが提案された。30人で人間ベースラインを作り、判断に使われる手がかりを整理。著者1人の10年分データで作ったLLMシステムを、20人の欺瞞研究で検証した。
LLM / 2026-11-20
対照学習とプロトタイプ推論でjailbreak試行を検知する「JDPI」
大規模言語モデルの安全運用で問題となるjailbreak試行の検知に向け、追加の下流分類器を学習せずに判定するJDPIを提案。バイナリ安全ラベルからプロトタイプを作り距離で予測し、複数ベンチマークや転移設定で性能を比較した。
LLM / 2026-11-19
Ambient SFT:温度で「粗く合わせる」データ効率のよい教師あり微調整
大規模で多様なポストトレーニングデータ収集の難しさを背景に、凍結した事前学習モデルをノイズ教師として用いるAmbient SFTを提案。高温化した条件付き分布の一致を求め、標準SFTより最大21%の平均相対改善を報告する。
LLM / 2026-11-19
LLMエージェントは自己改善の手順をどこまで指示される必要があるのか
基本的な道具と資源、自己改善という大枠の目標だけを与えたとき、LLMエージェントが自分で自己学習の手順を組み立てられるかをゲーム環境で検討した研究。
LLM / 2026-11-18
LLMの「拒否理由」は正しくても、やり直しの手がかりにならないことがある——複数ルールの拒否説明を検証
複数の独立ルールが同時に拒否する場面では、LLMが真の理由を挙げても再申請の助けにならない場合がある。著者らは「recourse validity」を定義し厳密計算しつつ、規則集合だけから失敗を予測する枠組みを示した。
LLM / 2026-11-16
言語モデルの「どの文脈が効いたか」を少ない評価回数で推定するスケッチング手法
プロンプトの一部を抜いたときの出力変化(LOO attribution)を、安定性仮定の下で少ないモデル評価回数で推定する手法を提案。必要回数の上界と、オラクルモデルでの一致する下界を示した。
LLM / 2026-11-16
ユーザーが適応する対話型LLMの評価は、オフラインとオンラインで「見ているもの」が変わる
対話型LLMではユーザーの適応によりプロンプトが内生的に変化し、オフライン評価とライブA/Bが推定する量がずれうる。論文は2種の推定対象を定義し、順位逆転の条件や一致の十分条件、分散増加の可能性を理論的に整理する。
LLM / 2026-11-16
拡散型言語モデルの再生成を「いつ・何を」直すか判定する検証器DiVR
拡散型言語モデルのremaskingで起きる修正の難しさを診断し、部分生成が正解に至るかを予測する検証器DiVRを提案。生成器は変えずに再生成のタイミングと候補選択を制御し、推論ベンチマークで精度向上を報告する。
LLM / 2026-11-15
LLM出力に推測した個人属性を隠す脅威モデル「Synthesis Smuggling」の提案
本稿は、LLMが会話からユーザのセンシティブ情報を推測し、生成物にステガノグラフィ的に埋め込む脅威モデル「Synthesis Smuggling」を提案する。不可視文字や語選択による埋め込みで、共有された出力が秘匿チャネルになり得る点を示す。
LLM / 2026-11-13
タンパク質-リガンド結合ポーズの順位付けを測るベンチマーク「Pyrite」とLLMエージェント
小分子創薬で難しい結合ポーズの順位付けに向け、1,500ポーズペアのベンチマークPyriteを提案。構造化表現と2種のLLMエージェントで比較し、特徴量生成型が最大74%精度を示した。
LLM / 2026-11-12
仮説の「棄却」で止まらないために:競合する説明を明示するContrastive Discovery
LLMによる科学探索で「h対¬h」の点検だけに頼ると、否定後にどの代替説明が有力か分かりにくい。競合説明セットで信念の再配分を評価するContrastive Discoveryは、同じ証拠・予算でより多くの質問を解決できる可能性を示した。
LLM / 2026-11-12
AutoScaffold:報酬に圧縮されがちな学習経験を「訓練時のヒント」に変える枠組み
AutoScaffoldは、RLVRで得られる訓練経験をもとに、凍結したteacherが戦略やヒント(スキャフォールド)を適応的に設計・調整する枠組みだ。4領域で、スキャフォールド無し評価でもRLベースラインを上回ったと報告している。
LLM / 2026-11-11
マルチモーダルエージェントの長期対話向けメモリ枠組み「HiVe-Mem」:水平拡張と垂直合成
HiVe-Memは、長い対話履歴からの情報活用を狙い、関係グラフでの「水平」拡張と証拠形式の「垂直」合成を組み合わせる。3ベンチマークで性能改善を示し、トークン消費を約90%削減したと報告する。
LLM / 2026-11-11
マルチエージェントAIの「仕事の段取り力」を測るベンチマークWorkflowArena
LLMが複数の作業者役エージェントを率いる際の「実行可能なワークフロー設計・調整能力」をworkflow orchestrationとして定義し、145タスクからなるWorkflowArenaで評価する枠組みを提示する。成果物の品質と委任のしかたを併せて測る点が特徴。
LLM / 2026-11-08
機械論的解釈可能性はAI安全性にどう役立つのか:サーベイと主張評価の枠組み
本稿は、AI安全性の観点から機械論的解釈可能性を整理し、「仕組みの理解は安全性を高めるか」を問うサーベイである。行動評価との比較、基礎概念と手法群の概観に加え、主張を評価する統一フレームワークと6つの研究オリエンテーションを提示する。
LLM / 2026-11-07
Scientist World:論文を「実行できる環境」に変換し、AI-Scientistを評価・記録・訓練する枠組み
Scientist Worldは、研究論文を実行可能な環境として扱い、AI-Scientistを人間著者の達成と比較して評価する仕組みを提案する。1,000件の検証済み環境と6,400時間の研究トレースを公開し、評価と訓練にも用いたという。
LLM / 2026-11-07
潜在空間で協調する「エージェント群れ」による進化的プログラム探索:SwarmEvolve
SwarmEvolveは、テキスト生成を介さず潜在空間で推論する多数エージェントがKVキャッシュを共有し、進化的探索を高速化する枠組みを提案する。21問題で平均スコア最高、60分相当の到達に中央値3〜8分と報告した。
LLM / 2026-11-06
LLM社会エージェントの「文脈の足し方」とロバスト性を点検する枠組み
LLMを社会シミュレーションのエージェントに使う際、意味を保つプロンプト差分で行動が変わる問題に向け、文脈を統制的に拡充する方法と「選択的ロバスト性」による評価基準を提案する。
LLM / 2026-11-06
CompressionBench:コーディングエージェントはLLM圧縮を自律実行できるか
本研究は、LLM圧縮を「終端タスク」として定式化し、コーディングエージェントに圧縮後の重みと推論コードまで構築させて検証する。6エージェント×6設定で評価し、PPL誘導探索と独立検証の下での達成度と失敗要因を整理した。
LLM / 2026-11-01
協調するLLMエージェントが、量子スピン実験を含む研究プロセスを自律的に進める枠組み
LLMベースの複数エージェントが相互評価し、調査の停止や方向転換も行える「自律研究ラボ」を提案する。ダイヤモンド中の量子スピン集団を題材に、理論導出から実験設計・再検証までの一連の流れを示した。
LLM / 2026-10-29
合成環境の「構成」がツール使用エージェントの汎化を左右する、というスケーリング則
LLMのツール使用エージェント訓練で、合成環境データの規模だけでなく構成(ツール・タスク・データベース多様性、複雑性)が汎化に効くことを調べ、予測可能なスケーリング則を導いた研究。
LLM / 2026-10-29
改変された物理法則の世界で、LLMは自由探索から「隠れた法則」を見つけられるか
改変物理のシミュレーション世界を自動生成する枠組みLongChangを提案し、LLMがヒントなしで異常に気づき実験する能力を評価した。12モデル中GPT-6-Astraのみ発見率16.7%で、他は0%だった。
LLM / 2026-10-28
自律研究システムを測り、アイデア探索も促すベンチマーク「Auto-Research Arena」
自律研究(auto-research)を評価する新ベンチマーク「Auto-Research Arena」を提案。適格性と改善を分離し、9つのターゲットで比較可能にする。評価では逐次探索が高度手法を上回る場合も示された。
LLM / 2026-10-25
RLVRは道具的行動を一様に増やすのか:OLMo-3の中間チェックポイント追跡から
OLMo-3をInstrumentalEvalで評価し、RLVR中の中間チェックポイントを含む軌跡として道具的行動率を分析。7Bでは一時的に上昇後、最終ではSFTを下回った。プロンプトのフレーミング要因だけでは説明しきれないと報告する。
LLM / 2026-10-25
推論の枝刈りをpass@$k$で最適化し、品質と多様性の両立を狙う手法
推論時に多数の候補解を作る手法では計算負荷が課題となる。著者らは短い途中経過(prefix)で候補を選別する際、pass@$k$を目的関数にして品質と多様性のトレードオフを直接最適化する枝刈りを提案した。8つのオープンウェイト推論モデルで既存法より良い性能を示したという。
LLM / 2026-10-24
ツール応答の「重要情報の抜け」による不安全行動を測る:EpiSEM-Benchの提案
ツール使用型LLMエージェントが安全判断に必要な事実を欠いたとき、禁止行為を実行しうる問題に対し、実行可能ベンチマークEpiSEM-Benchを提案。300の対応タスクペアと監査ツールで、不安全実行・安全境界・証拠回復を評価する。
LLM / 2026-10-24
AIの判断を必要最小限だけ監査する「選択的監査」:未監査の誤り率を閾値以下に抑える枠組み
AIの提案と信頼度スコアをオンライン監視し、専門家監査の頻度を抑えつつ未監査のAI誤り割合を閾値以下に保つ問題を定式化。仮定なしで誤り制御を保証するアルゴリズム族と、敵対的/i.i.d.双方で最良監査率に漸近する手法を述べる。
LLM / 2026-10-23
外部データなしで長文脈推論を鍛える手法「LongZero」の提案
LongZeroは、外部コーパスや教師モデルに頼らず、LLM自身が根拠付きQAを構造化生成し、根拠を長いマルチ文書文脈へ展開して学習する手法。2つのLLM・5ベンチマークで評価し、外部コーパス由来データでRLする比較法より高性能だと報告する。
LLM / 2026-10-22
Sage-A1.5は「長期実行」と「科学探索」をつなぐとするエージェントモデル
Sage-A1.5はA1を基盤にした35BのMixture-of-Expertsエージェントモデルで、長期の問題解決を「能力合成」で進めると述べる。委任と並列協調、進捗・証拠・内省による検証、探索的研究への拡張を柱に、複雑タスクや学際的応用で能力を示したとしている。
LLM / 2026-10-22
粒界の構造と変形を調べるエージェント型AI枠組み「GBClaw」の提案
一般粒界の構造・変形の機構解明に向け、LLMを組み込んだエージェント型AI枠組みGBClawが提案された。動的リプランニングで系統的シミュレーションと機構解析を接続し、ニッケルの粒界14件で欠陥構造と変形モード、すべり抵抗の差異を調べたという。
LLM / 2026-10-21
安全性を「基盤能力」として学ばせる中間段階:Safety Mid-Trainingの提案
LLMの安全性が後続学習で劣化したり、汎用能力とトレードオフになったりする問題に対し、事前学習と事後学習の間に「safety mid-training」を挟む枠組みを提案。Qwen3の複数モデルでASRを相対的に72%〜81%低減し、汎用能力も改善したと報告する。
LLM / 2026-10-20
微調整で意図しない振る舞いが一緒に現れる「behavioral coupling」を調べた研究
LLMの微調整で、狙った行動とは別の行動が誘発される関係を「behavioral coupling」と定義し、その形成と表面化を検討する。行動の結合は文書学習で形成され、微調整で現れ、さらに結合が合成して連鎖しうる可能性が示唆される。
LLM / 2026-10-20
LLMエージェントで研究結果の再現と頑健性分析を支援する試み(SEERを用いたケーススタディ)
SEERを用いた既刊研究を対象に、LLMエージェントで主張の再現と分析選択の影響検証を自動化できるかを検討。20本からなるベンチマークSEER-Reproを提示し、2,190件の主張で77.4%の再現を報告する。完全再現できた所見のうち9.5%で重要になり得る分析選択を特定し、専門家レビューへ回す枠組みを示した。
LLM / 2026-10-19
長期の機械学習エンジニアリングを自律最適化するためのポストトレーニング手法とエージェントモデル「MLExpert」
長い実験手順の中から有効な学習信号を取り出すポストトレーニング手法を提案し、35BのMoEエージェントモデルMLExpertに適用した。MLE-Bench Liteで平均メダル率を37.9%から72.7%へ改善したと報告する。
LLM / 2026-10-18
LLMエージェントの「目標からの逸脱」を実行中に監督するステアリング手法
LLMエージェントが実行中に目標から逸脱する「goal drift」へ対処するため、実行コンテキストを観測して介入するsteering agentを提案。介入判断と介入生成をfast/slowの2経路に分け、強化学習で共同学習する。
LLM / 2026-10-16
SafeDriveVLA:自然言語ナビの「危険な指示」に備えるための評価とVLA手法
自動運転VLAに対し、自然言語ナビが生む不安全/悪意ある指示の脆弱性を問題提起。ナビ追従とコンフリクト認識、敵対的頑健性を同時に測るベンチマークと、三段階モード予測+world model dreamingで対処するSafeDriveVLAを提案する。
LLM / 2026-10-15
長時間タスク向けデータセット「Tev-Gym」と進捗報酬PPRSで学習するエージェントモデルTev-27B
長時間タスク用の学習データ不足と疎な報酬を課題に、Tev-Gymと進捗を密な報酬へ変換するPPRSを提案。レシピで学習したTev-27Bが複数ベンチマークで改善を示したと報告する。
LLM / 2026-10-14
複数サービスをまたぐ個人向けAIエージェントの「合成的な失敗」を探すレッドチーミング手法「X-AgentRed」
個人向けAIエージェントが複数サービスのツールを連携利用する際に起きうる有害な経路を、ツール依存グラフと実行フィードバックで体系的に探索するX-AgentRedが提案された。4モデルでSTAC比1.77倍の有害パス率、平均2.99倍のツールカバレッジを報告する。
LLM / 2026-10-13
Wikipediaのリンクだけで目的記事へ:言語モデルの「ナビゲーション能力」を比べる研究
Wikipedia Gameを情報検索に似た課題として用い、文埋め込みモデルとLLMの到達能力を5言語・学術文献データセットでも比較した。OpenAlexでローカルグラフを構築し、第三者APIに頼らない評価枠組みを示す。人間を有意に上回るモデルはなかった。
LLM / 2026-10-12
LLMの「価値」の学習が未学習の価値にどう波及するか——一般化を予測する課題と表現の比較
LLMの価値学習が未見の価値に及ぼす影響を予測する「alignment generalization prediction」を提案し、66価値で一般化効果を分析。活性ベース表現が記述ベースを上回り、下流では価値類似度がロバスト性と相関した。
LLM / 2026-10-11
白箱プローブでLLMの欺瞞を検出する試み:大規模データセットと新アーキテクチャで評価
LLMエージェントの監視に向け、白箱プローブによる欺瞞検出をフロンティア監視設定へ拡張する研究が報告された。SHADE-ArenaでAUC 98.8%を示し、文脈だけでは判定しにくい「introspective deception」でも最大AUC 99.7%の識別を示した。
LLM / 2026-10-08
IdeaAnchor:論文の統合手順を「構造化仕様」として与え、LLMの研究アイデア生成を学習させる枠組み
IdeaAnchorは、関連論文群の統合のしかたを構造化仕様として符号化し、それを特権信号にしてLLMへ研究アイデア生成を学習させる枠組み。公開論文から实例をマイニングし、複数の学習手法と推論時retrievalで生成を強化する。実験では品質改善が示され、統合と精緻化の役割分担も分析された。
LLM / 2026-10-07
多数候補の「power sampling」を、1回の生成に近づける学習法OPPD
power distributionで推論を改善する際の「多数候補を生成して採点する」負担を減らすため、1回の生成で同様の効果を狙う学習手法OPPDを提案。MATH500やGSM8Kなどで単発生成の精度向上を報告している。
LLM / 2026-10-07
ループ型言語モデルを「固定点」から見直し、学習・推論・RLの効率化を狙う
ループ型言語モデルの反復計算を、固定点近傍では経路が重要でないという見方から捉え直す。truncated backpropagationやterminal KV sharing、蒸留によるprefill高速化、RLの勾配計算高速化を述べる。depth priorとinput injectionを改良し、100M〜1.6Bでperplexity低下を報告する。
LLM / 2026-10-07
応答冒頭の「キュー」がベースモデルの推論挙動に結びつく可能性
学習データが、応答の最初のトークンとその後の推論挙動を結びつける仕組みを調べた研究。特定の開始トークンを固定すると数学タスクで精度が上がり、RLがその出現を増やす可能性や、データ介入でキュー効果を付与・除去できることを報告する。
02論文
2026-11-19
2611.26588
Verify the Verifier: Specification-Grounded LLM Cross-Checking for Bugs That Escape UVM Scoreboards
2026-11-19
2611.26545
The Geometry of Lies: Knowledge and Persona Directions for Detecting Deception in Large Language Models
2026-11-19
2611.26553
Replication of Agentic Security Events: Audit and Investigation (ROGUE-AI)
2026-11-19
2611.26619
TideCache: Efficient Hybrid LLM Serving with Transparent Cache Management and Layer-Wise Streaming
2026-11-18
2611.24936
Jailbreak Detection on Large Language Models via Contrastive Prototype Structures
2026-11-18
2611.24888
Who are you? The Personal Imitation Game
2026-11-17
2611.23219
Do LLM Agents Still Need to Be Told How to Self-Improve?
2026-11-17
2611.23229
Ambient LLMs: Data-Efficient Supervised Fine-tuning via Temperature Matching
2026-11-16
2611.21545
Right Reason, Wrong Advice: Evaluating Recourse in LLM Explanations of Denied Requests
2026-11-12
2611.17280
Synthesis Smuggling: Maliciously Hiding Inferred Personal Attributes in LLM Outputs
2026-11-12
2611.17313
Sketching Language Models for Context Attribution
2026-11-12
2611.17320
Learning When Diffusion Language Models Should Regenerate
2026-11-12
2611.17239
When Both Sides Adapt: The Challenges of Evaluating Interactive LLM Systems
2026-11-10
2611.14511
Pyrite: Building and Benchmarking Protein-Ligand Pose Ranking Agents
2026-11-10
2611.14515
AutoScaffold: AI-Guided Scaffolding for Reinforcement Learning of Language Models
2026-11-10
2611.14514
Contrastive Discovery: Open-Ended Scientific Discovery over Competing Explanations
2026-11-09
2611.12856
WorkflowArena: Benchmarking Executable Workflow Orchestration in LLM-Based Multi-Agent Systems
2026-11-09
2611.12872
HiVe-Mem: Interleaving Horizontal Memory Expansion and Vertical Evidence Composition for Multimodal Agents
2026-11-05
2611.08438
Understanding AI from the Inside: The State of Mechanistic Interpretability for AI Safety
2026-11-05
2611.08478
Scientist World: Grow a Research World for AI-Scientists
2026-11-05
2611.08483
SwarmEvolve: Latent Agent Swarms for Evolutionary Discovery and Optimization
2026-11-04
2611.06914
A Framework for Context Enrichment and Selective Robustness in LLM Social Agents
2026-11-04
2611.06858
CompressionBench: How can your coding agents compress LLMs?
2026-10-29
2610.40589
Collaborative AI agents for autonomous experimental research with solid-state quantum spins
2026-10-27
2610.37648
Scaling Laws for Tool-Use Agents via Controllable Environment Synthesis
2026-10-27
2610.37649
Can LLMs Uncover Hidden Physical Laws through Free Exploration?
2026-10-26
2610.35866
Auto-Research Arena: Benchmarking and Advancing Auto-Research in Language Modeling
2026-10-22
2610.31650
EpiSEM-Bench: Evaluating Safety and Evidence Recovery in LLM Agents under Missing Evidence
2026-10-22
2610.31667
Direct Pass@$k$ Optimization for Thought Pruning: Balancing Quality and Diversity in Test-Time Reasoning
2026-10-22
2610.31662
Reliable AI-Assisted Decisions via Selective Auditing
2026-10-22
2610.31624
Questioning Instrumental Convergence in RLVR: Checkpoint Evidence from OLMo-3
2026-10-21
2610.30132
LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data
2026-10-20
2610.28578
Sage-A1.5: From Long-Horizon Execution to Scientific Exploration with Capability Composition
2026-10-20
2610.28629
GBClaw: An agentic AI framework for atomistic grain boundary research and mechanistic discovery
2026-10-19
2610.26809
Safety Mid-Training: Internalizing LLM Safety as a Foundational Capability
2026-10-16
2610.23845
AI-Driven Reproducibility and Analytical Robustness in Scientific Discovery
2026-10-16
2610.23847
Behavioral Couplings: From Formation to Behavioral Emergence in Language Models
2026-10-15
2610.22344
MLExpert: Towards a Generalist Agentic Model for Autonomous Machine Learning Engineering
2026-10-15
2610.22316
Learning to Steer LLM Agents and Multi-Agent Systems
2026-10-14
2610.20609
SafeDriveVLA: Navigation-Conditioned World Model Dreaming for Conflict-Aware End-to-End Autonomous Driving
2026-10-13
2610.18868
Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards
2026-10-09
2610.13886
X-AgentRed: Red-Teaming Personal Agents in Evolving Multi-Service Ecosystems
2026-10-09
2610.13948
Can Language Models Play the Wikipedia Game?
2026-10-08
2610.12445
Caught in the Act: Probes Effectively Detect Sabotage and Catch Unverbalized Deception
2026-10-08
2610.12410
Predicting Alignment Generalization with Value Representations
2026-10-06
2610.08781
IdeaAnchor: Teaching LLMs to Turn Literature into Research Ideas
2026-10-05
2610.06851
Base Models Can Reason By Taking a Cue From Training Data
2026-10-05
2610.06804
Sharpen Without Search: On-Policy Distillation of Sequence-Level Power Distribution
2026-10-05
2610.06833
