SHIRITAS

/TOPICS

推論・強化学習

考える力を高める学習法の研究。推論、強化学習、蒸留、試行錯誤による改善。

01記事

AI Agent / 2026-11-17

シミュレーション強化学習で、オープンウェイト推論モデルが実ロボット操作に転移する可能性

論文は、オープンウェイト27B推論モデルをデモなし・シミュレーションのみの強化学習で訓練し、実ロボット操作に転移できると報告する。PEARとRURLを提案し、LIBERO等で成功率の大幅な改善や汎用能力の劣化なしを示したという。

LLM / 2026-11-16

拡散型言語モデルの再生成を「いつ・何を」直すか判定する検証器DiVR

拡散型言語モデルのremaskingで起きる修正の難しさを診断し、部分生成が正解に至るかを予測する検証器DiVRを提案。生成器は変えずに再生成のタイミングと候補選択を制御し、推論ベンチマークで精度向上を報告する。

LLM / 2026-11-13

タンパク質-リガンド結合ポーズの順位付けを測るベンチマーク「Pyrite」とLLMエージェント

小分子創薬で難しい結合ポーズの順位付けに向け、1,500ポーズペアのベンチマークPyriteを提案。構造化表現と2種のLLMエージェントで比較し、特徴量生成型が最大74%精度を示した。

LLM / 2026-11-12

AutoScaffold:報酬に圧縮されがちな学習経験を「訓練時のヒント」に変える枠組み

AutoScaffoldは、RLVRで得られる訓練経験をもとに、凍結したteacherが戦略やヒント(スキャフォールド)を適応的に設計・調整する枠組みだ。4領域で、スキャフォールド無し評価でもRLベースラインを上回ったと報告している。

ロボティクス・身体性 / 2026-10-30

ThinkWorld:人間動画も生かすために、世界の変化に基づいて行動を学ぶVLA枠組み

ロボット操作VLAの一般化が、行動ラベル付き実演データの網羅性に縛られる課題に対し、ThinkWorldは世界ダイナミクスと“想像”を使って学習を進める。CoDという共通表現で、人間動画とロボット経験を同じ推論空間で扱うことを狙う。

AI Agent / 2026-10-27

RynnUnify:身体性理解・長期視覚プランニング・ロボット制御をつなぐ統一モデルの提案

16BモデルRynnUnifyは、動画と言語を交えた推論で身体性理解と長期視覚プランニングを統合する。強化学習による拡張やロボット制御への展開、専用ベンチマークでの評価結果も報告された。

LLM / 2026-10-23

外部データなしで長文脈推論を鍛える手法「LongZero」の提案

LongZeroは、外部コーパスや教師モデルに頼らず、LLM自身が根拠付きQAを構造化生成し、根拠を長いマルチ文書文脈へ展開して学習する手法。2つのLLM・5ベンチマークで評価し、外部コーパス由来データでRLする比較法より高性能だと報告する。

LLM / 2026-10-19

長期の機械学習エンジニアリングを自律最適化するためのポストトレーニング手法とエージェントモデル「MLExpert」

長い実験手順の中から有効な学習信号を取り出すポストトレーニング手法を提案し、35BのMoEエージェントモデルMLExpertに適用した。MLE-Bench Liteで平均メダル率を37.9%から72.7%へ改善したと報告する。

マルチモーダル / 2026-10-19

複雑な条件を分解して点数化する「視覚検証器」を提案:OmniVerifier-C1

OmniVerifier-C1は、複雑な要求やルールを要素分解し各要素を連続スコアで評価する視覚検証器を提案する。解釈可能な出力で汎化を狙い、学習にDecoupled RLを用いる。

機械学習(基礎・手法) / 2026-10-10

安全と性能を同時に扱う「統一的なBellman演算子」を提案する安全強化学習

安全クリティカル領域の強化学習で、性能最大化と安全制約の厳守を両立させるための統一的なBellman演算子を提案。joint value functionとして目的を統合し、二重時間スケールのTD学習の収束も示す。

LLM / 2026-10-08

IdeaAnchor:論文の統合手順を「構造化仕様」として与え、LLMの研究アイデア生成を学習させる枠組み

IdeaAnchorは、関連論文群の統合のしかたを構造化仕様として符号化し、それを特権信号にしてLLMへ研究アイデア生成を学習させる枠組み。公開論文から实例をマイニングし、複数の学習手法と推論時retrievalで生成を強化する。実験では品質改善が示され、統合と精緻化の役割分担も分析された。

LLM / 2026-10-07

多数候補の「power sampling」を、1回の生成に近づける学習法OPPD

power distributionで推論を改善する際の「多数候補を生成して採点する」負担を減らすため、1回の生成で同様の効果を狙う学習手法OPPDを提案。MATH500やGSM8Kなどで単発生成の精度向上を報告している。

LLM / 2026-10-07

応答冒頭の「キュー」がベースモデルの推論挙動に結びつく可能性

学習データが、応答の最初のトークンとその後の推論挙動を結びつける仕組みを調べた研究。特定の開始トークンを固定すると数学タスクで精度が上がり、RLがその出現を増やす可能性や、データ介入でキュー効果を付与・除去できることを報告する。

02論文