SHIRITAS

/TOPICS

効率化・小型モデル

計算量・メモリ・費用を減らす研究。モデルの圧縮、高速化、小さなモデル。

01記事

LLM / 2026-11-21

TideCache:ハイブリッドLLMの異種キャッシュを透過的に扱い、層単位ストリーミングでサービング効率を上げる提案

TideCacheは、ハイブリッド構成のLLMが持つ異種キャッシュのGPUメモリ配分と常駐管理を狙うサービング手法。固定仮想アドレスを保つキャッシュ管理と、層単位の事前フェッチを組み合わせ、SGLangで評価している。

LLM / 2026-11-19

Ambient SFT:温度で「粗く合わせる」データ効率のよい教師あり微調整

大規模で多様なポストトレーニングデータ収集の難しさを背景に、凍結した事前学習モデルをノイズ教師として用いるAmbient SFTを提案。高温化した条件付き分布の一致を求め、標準SFTより最大21%の平均相対改善を報告する。

機械学習(基礎・手法) / 2026-11-17

ASRモデルの速度を生かした脳活動→テキスト復号「FETTUCCINE」、モバイル端末での動作も報告

脳活動からテキストを復号する枠組みFETTUCCINEを提案。公開データでWER最小4.39%を報告し、商用モバイル端末で最大370倍リアルタイムのスループットで動作したという。

LLM / 2026-11-16

言語モデルの「どの文脈が効いたか」を少ない評価回数で推定するスケッチング手法

プロンプトの一部を抜いたときの出力変化(LOO attribution)を、安定性仮定の下で少ないモデル評価回数で推定する手法を提案。必要回数の上界と、オラクルモデルでの一致する下界を示した。

LLM / 2026-11-16

拡散型言語モデルの再生成を「いつ・何を」直すか判定する検証器DiVR

拡散型言語モデルのremaskingで起きる修正の難しさを診断し、部分生成が正解に至るかを予測する検証器DiVRを提案。生成器は変えずに再生成のタイミングと候補選択を制御し、推論ベンチマークで精度向上を報告する。

機械学習(基礎・手法) / 2026-11-14

LLMアーキテクチャ研究の記録・レビュー・参照を支える公開基盤「ArchSpace」

LLMのアーキテクチャ提案を、実験と推論込みで記録し、コミュニティがレビューし後続研究が参照できる公開プラットフォーム「ArchSpace」を提案する。小規模実験からスケーリング則で大規模の損失を予測し、学術界と産業界の評価ギャップを埋める狙いがある。

マルチモーダル / 2026-11-14

マルチモーダル模型の「視覚エンコーダ」は何を担っているのかを切り分ける

視覚エンコーダが暗黙に束ねる要素を分解し、同一データと計算量を揃えた統制比較で影響を検証。視覚の事前学習よりも専用の視覚容量と配置が重要だと示唆する。

マルチモーダル / 2026-11-13

分子相互作用の基盤モデル「Bonbon」は配列ペアだけの事前学習でゼロショット能力を示すと報告

タンパク質‐リガンド配列ペアを大規模に学習した基盤モデルBonbonが、機能・結合部位・結合様式の3階層でゼロショット能力を示すと報告。最大規模で能力が急に伸び、損失だけでは出現時期を読めない可能性も示された。

LLM / 2026-11-11

マルチモーダルエージェントの長期対話向けメモリ枠組み「HiVe-Mem」:水平拡張と垂直合成

HiVe-Memは、長い対話履歴からの情報活用を狙い、関係グラフでの「水平」拡張と証拠形式の「垂直」合成を組み合わせる。3ベンチマークで性能改善を示し、トークン消費を約90%削減したと報告する。

AI Agent / 2026-11-10

LLMの推論結果を「CPUで動くキャッシュ」として再利用する提案:Agentic Reasoning Caching

論文は、LLMが毎回ゼロから解く非効率を問題視し、推論トレースからCPU実行可能な推論キャッシュ(ARC)を作って再利用する枠組みを提案する。数学・科学タスクで同等性能やコスト低減を報告している。

機械学習(基礎・手法) / 2026-11-09

大きな一定ステップサイズでの敵対的学習:GDの暗黙のバイアス・最適化・シャープネスを整理

敵対的学習(AT)における大きな一定ステップサイズの勾配降下法(GD)の挙動を調べ、標準学習(ST)と比べた違いを暗黙のバイアス、収束率、損失のシャープネスの観点からまとめた研究。

ロボティクス・身体性 / 2026-11-09

OopsieRecover:少数の是正デモからVLAの失敗回復を学ばせる枠組み

VLAモデルのデプロイ時の失敗に対し、少数の是正デモの「意図」を外転で推論し、条件付きコストとして方策を誘導するOopsieRecoverが提案された。6タスクの実験で、新規状況への一般化を示したと報告している。

ロボティクス・身体性 / 2026-11-08

シミュレーションRLの制御知識を「潜在文脈」として再利用し、少量デモで器用操作を学ぶ枠組み

視覚デモが限られる器用操作学習に向け、特権情報ありのシミュレーションRLで得た制御知識を蒸留し、凍結したデコーダを保ったまま画像から潜在文脈を学習する2段階手法を提案。3タスクで低データ時の性能向上を報告する。

LLM / 2026-11-07

Scientist World:論文を「実行できる環境」に変換し、AI-Scientistを評価・記録・訓練する枠組み

Scientist Worldは、研究論文を実行可能な環境として扱い、AI-Scientistを人間著者の達成と比較して評価する仕組みを提案する。1,000件の検証済み環境と6,400時間の研究トレースを公開し、評価と訓練にも用いたという。

LLM / 2026-11-07

潜在空間で協調する「エージェント群れ」による進化的プログラム探索:SwarmEvolve

SwarmEvolveは、テキスト生成を介さず潜在空間で推論する多数エージェントがKVキャッシュを共有し、進化的探索を高速化する枠組みを提案する。21問題で平均スコア最高、60分相当の到達に中央値3〜8分と報告した。

LLM / 2026-11-06

CompressionBench:コーディングエージェントはLLM圧縮を自律実行できるか

本研究は、LLM圧縮を「終端タスク」として定式化し、コーディングエージェントに圧縮後の重みと推論コードまで構築させて検証する。6エージェント×6設定で評価し、PPL誘導探索と独立検証の下での達成度と失敗要因を整理した。

機械学習(基礎・手法) / 2026-11-01

重み摂動なしでNeural Thicketsの利得は得られるのか:Logit PSVという見方

Neural Thicketsの性能向上を、重み空間の幾何学的説明に頼らず捉え直す研究。凍結モデルに対するlogitsへのランダムbiasと、選抜・集約からなるPSVを提示し、言語・視覚での有効性を論じる。

ロボティクス・身体性 / 2026-10-31

短い動画から先の行動列を予測する「SymAnt」:シンボリック文脈を“事前の手がかり”として使う

SymAntは短い動画から、シーングラフと知識グラフのjoint-searchでシンボリック文脈を構築し、将来の行動列を反復的に生成・改善する手法。短い観測でも長期予測を行い、知識編集で追加学習なしに予測調整できる点をうたう。

LLM / 2026-10-29

合成環境の「構成」がツール使用エージェントの汎化を左右する、というスケーリング則

LLMのツール使用エージェント訓練で、合成環境データの規模だけでなく構成(ツール・タスク・データベース多様性、複雑性)が汎化に効くことを調べ、予測可能なスケーリング則を導いた研究。

LLM / 2026-10-28

自律研究システムを測り、アイデア探索も促すベンチマーク「Auto-Research Arena」

自律研究(auto-research)を評価する新ベンチマーク「Auto-Research Arena」を提案。適格性と改善を分離し、9つのターゲットで比較可能にする。評価では逐次探索が高度手法を上回る場合も示された。

機械学習(基礎・手法) / 2026-10-27

長方形の遮蔽だけで探す黒箱攻撃手法「STROKE」

STROKEは、向き付き長方形の遮蔽で摂動を作るスコアベース黒箱攻撃手法。軽量な貪欲最適化でクエリ効率を狙い、1–2%面積設定での成功率や所要時間削減、設計選択の影響を評価した。

機械学習(基礎・手法) / 2026-10-26

固定特徴と学習可能表現の「あいだ」を理論で捉える:部分的に学習可能なニューラルネットの相転移

固定ランダム特徴と完全学習の中間にある「部分的に学習可能なネットワーク」について、近似誤差境界と訓練誤差に現れる改善の段階変化を定量化した研究。学習可能割合Pとミスマッチ定数から定まるκ_Pにより、改善の速さと逓減の仕方を表現する。

ロボティクス・身体性 / 2026-10-26

OpenTac:カスタマイズ可能な3D触覚スキン向けセンサと周辺基盤の提案

OpenTacは、触覚スキン向けの新規センサと、設計・シミュレーション・取得まで含むエコシステムをまとめて提示する。抵抗式スキンと構造化オーバーレイで接線荷重を圧力分布に変換し、せん断と法線を復号する枠組みを述べる。CADツールで形状やテキスト記述から製造ファイルを自動生成し、評価・デモ・高速取得も報告する。

ロボティクス・身体性 / 2026-10-26

ロボット行動モデルを「安く」見積もる指標:Sensorimotor Alignment(S^2)の提案

高コストな閉ループ評価に代わる手段として、学習不要のオフライン指標S^2を提案。感覚表現と物理運動の幾何の整合を測り、タスク成功と正に相関すると報告する。モデル選別や現象理解への活用も述べる。

LLM / 2026-10-25

推論の枝刈りをpass@$k$で最適化し、品質と多様性の両立を狙う手法

推論時に多数の候補解を作る手法では計算負荷が課題となる。著者らは短い途中経過(prefix)で候補を選別する際、pass@$k$を目的関数にして品質と多様性のトレードオフを直接最適化する枝刈りを提案した。8つのオープンウェイト推論モデルで既存法より良い性能を示したという。

LLM / 2026-10-24

AIの判断を必要最小限だけ監査する「選択的監査」:未監査の誤り率を閾値以下に抑える枠組み

AIの提案と信頼度スコアをオンライン監視し、専門家監査の頻度を抑えつつ未監査のAI誤り割合を閾値以下に保つ問題を定式化。仮定なしで誤り制御を保証するアルゴリズム族と、敵対的/i.i.d.双方で最良監査率に漸近する手法を述べる。

マルチモーダル / 2026-10-21

言語事前学習なしで学ぶText-to-Image:Halcyonが示した可能性

Halcyonは、100Mの画像-テキスト対からゼロから学習したT2Iモデル群。gFD比較と統制実験により、text-only事前学習がT2I改善に必須ではない可能性を示す。計算量効率と画像キャプショニング同時学習も論じる。

LLM / 2026-10-19

長期の機械学習エンジニアリングを自律最適化するためのポストトレーニング手法とエージェントモデル「MLExpert」

長い実験手順の中から有効な学習信号を取り出すポストトレーニング手法を提案し、35BのMoEエージェントモデルMLExpertに適用した。MLE-Bench Liteで平均メダル率を37.9%から72.7%へ改善したと報告する。

LLM / 2026-10-18

LLMエージェントの「目標からの逸脱」を実行中に監督するステアリング手法

LLMエージェントが実行中に目標から逸脱する「goal drift」へ対処するため、実行コンテキストを観測して介入するsteering agentを提案。介入判断と介入生成をfast/slowの2経路に分け、強化学習で共同学習する。

機械学習(基礎・手法) / 2026-10-16

事前学習Transformerを「単一モデル」のまま計算予算に合わせて可変化する再学習不要の手法

固定サイズで提供されがちなTransformerを、再学習なしでスパース性に応じてオンザフライ適応させる手法を提案。MLPニューロンと注意ヘッドを共通尺度で共同ランキングし、多数の目標スパース性を同時に最適化する。

AI Agent / 2026-10-16

言語エージェント学習で「行動」と「先読み」を同時に鍛える提案(Co-Evolving Acting and Forecasting)

長いロールアウトのコストと終端報酬偏重で中間監督が活きにくい課題に対し、成功軌跡から後続の行動列を学ぶ「multi-step action targets」を導入。5ベンチマークでGRPO等より強い総合性能と、ScienceWorldで最大2.0×のサンプル効率を報告する。

LLM / 2026-10-15

長時間タスク向けデータセット「Tev-Gym」と進捗報酬PPRSで学習するエージェントモデルTev-27B

長時間タスク用の学習データ不足と疎な報酬を課題に、Tev-Gymと進捗を密な報酬へ変換するPPRSを提案。レシピで学習したTev-27Bが複数ベンチマークで改善を示したと報告する。

ロボティクス・身体性 / 2026-10-15

LoopWAM:デプロイ後の混合品質ロールアウトからロボット方策を改善する枠組み

LoopWAMは、成功から失敗まで混ざった実環境ロールアウトをそのまま学習に使い、クローズドループで汎用ロボット方策を改善するworld-action modelを提案する。行動学習と世界モデル化を統合し、品質に応じて模倣を調整する。複数ベンチマークで成功率の向上が報告されている。

LLM / 2026-10-13

Wikipediaのリンクだけで目的記事へ:言語モデルの「ナビゲーション能力」を比べる研究

Wikipedia Gameを情報検索に似た課題として用い、文埋め込みモデルとLLMの到達能力を5言語・学術文献データセットでも比較した。OpenAlexでローカルグラフを構築し、第三者APIに頼らない評価枠組みを示す。人間を有意に上回るモデルはなかった。

ロボティクス・身体性 / 2026-10-09

RoboJEPAが示す、ロボット向け潜在世界モデルの「計算量と誤差」のスケーリング

JEPAベースの潜在世界モデルRoboJEPAについて、計算量に対するimagination errorのスケーリング則(2次のパワーロー)と、計画性能との相関を示した。実機で単一ゴール画像に向けたゼロショット計画のデモと、コード公開も報告している。

機械学習(基礎・手法) / 2026-10-09

忘却対象だけで「学習済みモデル」から削除する手法は、学習法と記憶量に制約がある

学習済みモデルと忘れたい例だけを入力として削除する「forget-only unlearning」を理論的に検討。再学習との一致精度には下界があり、任意の削除要求に備えるには訓練データの多くを記憶する必要がありうると示す。

LLM / 2026-10-08

IdeaAnchor:論文の統合手順を「構造化仕様」として与え、LLMの研究アイデア生成を学習させる枠組み

IdeaAnchorは、関連論文群の統合のしかたを構造化仕様として符号化し、それを特権信号にしてLLMへ研究アイデア生成を学習させる枠組み。公開論文から实例をマイニングし、複数の学習手法と推論時retrievalで生成を強化する。実験では品質改善が示され、統合と精緻化の役割分担も分析された。

ロボティクス・身体性 / 2026-10-08

フローポリシーをオフポリシーで強化学習する手法「QF3」の提案

QF3はフローポリシーをオフポリシーで学習するオンラインRL手法。フローマッチングにcriticのaction gradientを組み合わせ、更新をリプレイ近傍の次元に限定する。ヒューマノイドでFPO++比10xの壁時計時間高速化を報告する。

LLM / 2026-10-07

ループ型言語モデルを「固定点」から見直し、学習・推論・RLの効率化を狙う

ループ型言語モデルの反復計算を、固定点近傍では経路が重要でないという見方から捉え直す。truncated backpropagationやterminal KV sharing、蒸留によるprefill高速化、RLの勾配計算高速化を述べる。depth priorとinput injectionを改良し、100M〜1.6Bでperplexity低下を報告する。

02論文

2026-11-19
2611.26619

TideCache: Efficient Hybrid LLM Serving with Transparent Cache Management and Layer-Wise Streaming

2026-11-17
2611.23229

Ambient LLMs: Data-Efficient Supervised Fine-tuning via Temperature Matching

2026-11-13
2611.18561

FETTUCCINE: Fast and efficient brain-to-text decoding on mobile devices

2026-11-12
2611.17313

Sketching Language Models for Context Attribution

2026-11-12
2611.17334

Unbundling Multimodal Vision Encoding

2026-11-12
2611.17320

Learning When Diffusion Language Models Should Regenerate

2026-11-12
2611.17332

ArchSpace: Recording, Reviewing, and Referencing LLM Architecture Research

2026-11-10
2611.14504

Emergent Biological Capabilities in a Foundation Model for Molecular Interactions

2026-11-09
2611.12872

HiVe-Mem: Interleaving Horizontal Memory Expansion and Vertical Evidence Composition for Multimodal Agents

2026-11-06
2611.09891

CPU-ARC: Agentic Reasoning Caching for on-CPU Reasoning Reuse

2026-11-05
2611.08483

SwarmEvolve: Latent Agent Swarms for Evolutionary Discovery and Optimization

2026-11-05
2611.08462

OopsieRecover: Learning Transferable VLA Corrections from Semantic Interventions

2026-11-05
2611.08458

Latent RL Priors for Data-Efficient Dexterous Manipulation

2026-11-05
2611.08457

Adversarial Training with Large Step Sizes: Implicit Bias, Optimization, and Sharpness

2026-11-05
2611.08478

Scientist World: Grow a Research World for AI-Scientists

2026-11-04
2611.06858

CompressionBench: How can your coding agents compress LLMs?

2026-10-29
2610.40632

SymAnt: Grounding Long-Horizon Action Anticipation with Adaptable Symbolic Priors

2026-10-29
2610.40649

Rethinking Neural Thickets Without Weight Perturbations

2026-10-27
2610.37648

Scaling Laws for Tool-Use Agents via Controllable Environment Synthesis

2026-10-26
2610.35866

Auto-Research Arena: Benchmarking and Advancing Auto-Research in Language Modeling

2026-10-23
2610.32932

STROKE: Simple Sparse Structural Occlusions for Black-Box Adversarial Attacks

2026-10-22
2610.31667

Direct Pass@$k$ Optimization for Thought Pruning: Balancing Quality and Diversity in Test-Time Reasoning

2026-10-22
2610.31661

OpenTac: An Open Ecosystem for Customizable, Scalable, and Transferable 3D Tactile Sensing

2026-10-22
2610.31670

Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success

2026-10-22
2610.31662

Reliable AI-Assisted Decisions via Selective Auditing

2026-10-22
2610.31663

Phase Transition from Random Features to Fully Trainable Networks

2026-10-19
2610.26863

Text-to-Image Generative Modeling Without Language Pretraining

2026-10-15
2610.22344

MLExpert: Towards a Generalist Agentic Model for Autonomous Machine Learning Engineering

2026-10-15
2610.22316

Learning to Steer LLM Agents and Multi-Agent Systems

2026-10-14
2610.20588

Your Transformer Is Secretly Elastic

2026-10-14
2610.20597

Co-Evolving Acting and Forecasting for Language Agents

2026-10-13
2610.18868

Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards

2026-10-13
2610.18873

LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts

2026-10-09
2610.13948

Can Language Models Play the Wikipedia Game?

2026-10-07
2610.10519

Why Forget-Only Unlearning Needs Memorization

2026-10-07
2610.10515

RoboJEPA: Scaling Robotic Latent World Models

2026-10-06
2610.08789

QF3: Fast Flow RL with Filtered Q-Gradients

2026-10-06
2610.08781

IdeaAnchor: Teaching LLMs to Turn Literature into Research Ideas

2026-10-05
2610.06833

Towards Looped Models Done Right, Part II: Rethinking at Fixed Points