SHIRITAS

ニュース / LLM

LLM / 2026-10-19

長期の機械学習エンジニアリングを自律最適化するためのポストトレーニング手法とエージェントモデル「MLExpert」

長い実験手順の中から有効な学習信号を取り出すポストトレーニング手法を提案し、35BのMoEエージェントモデルMLExpertに適用した。MLE-Bench Liteで平均メダル率を37.9%から72.7%へ改善したと報告する。

#AIエージェント#強化学習#ポストトレーニング#機械学習エンジニアリング#評価ベンチマーク

MANABISTAGE で学ぶ

ひとことで言うと

機械学習の改良は、多くの試行錯誤の積み重ねになります。著者らは、その長い試行錯誤の途中結果も手がかりにしながら学習する方法を提案しました。提案手法で学習した「MLExpert」は、ある評価(MLE-Bench Lite)で成績を37.9%から72.7%に上げたと報告されています。たとえるなら、最後の点数だけでなく、練習中の部分点もまとめて学びに使うような考え方です。

AIによるやさしい要約です。専門用語を避けた分、細かな正確さは、下の本文と原論文で確かめてください。

論文の記載
原論文に書かれている内容。原文の引用を添えています。
AIによる解釈
AIが読み取った意味づけ。論文が述べたものではありません。

点線の言葉をタップすると、やさしい解説が出ます(AIによる解説)。

背景

近年の大規模言語モデルは、研究やエンジニアリングの支援にとどまらず、実験の計画・実行・結果にもとづく方針変更までを自律的に進める「エージェント」的な使われ方が増えています。一方で、長期間にわたる実験運用では、1回の実験結果がその前の複数の意思決定の影響を受けるため、学習の手がかり()をどこから得るかが難しくなります。

論文の記載

著者らは、自律的な長期()の機械学習エンジニアリング(MLE)最適化のための手法を提案し、それを用いてMLExpertを学習したと述べている。

原文を確認する(Abstract)
“train MLExpert, a 35B Mixture-of-Experts agentic model”

論文の記載

MLExpertは35Bのによるエージェント型モデルとして学習された。

原文を確認する(Abstract)
“train MLExpert, a 35B Mixture-of-Experts agentic model”

論文の記載

著者らは、実行可能タスクを構築し、モデル主導の実験のためのを提供する枠組みとしてKaggle-MLE Factoryを設計した。

原文を確認する(Abstract)
“We design the Kaggle-MLE Factory to construct executable tasks and an interaction harness for model-directed experimentation”

論文の記載

は、連続する実験結果の間にある複数ターンの意思決定を「実行ウィンドウ」として扱い、アウトカムにもとづく共有報酬を割り当てる。

原文を確認する(Abstract)
“Windowed Interaction RL (WIRL) treats the multi-turn decisions between successive experiment results as an execution window and assigns it a shared outcome-based reward”

論文の記載

非同期の収集とにより、軌跡(trajectory)が終わる前に方策更新を行えるようにする。

原文を確認する(Abstract)
“Asynchronous collection and policy correction support policy updates before the trajectory ends”

論文の記載

MLE-Bench Liteにおいて、MLExpertはベースモデルの平均メダル率を37.9%から72.7%へ改善した。

原文を確認する(Abstract)
“improves the average medal rate of the base model from 37.9% to 72.7%”

論文の記載

MLExpertはKimi-K3やGLM-5.3などのより大きいフロンティアモデルに匹敵する性能を達成したと報告されている。

原文を確認する(Abstract)
“achieving performance comparable to larger frontier models such as Kimi-K3 and GLM-5.3”

AIによる解釈

要旨の記述からは、長い実験の「どの判断が最終結果に効いたか」を、実験結果の区切り(ウィンドウ)単位でまとめて評価し、学習に取り込む設計だと読み取れます。これは、長い作業手順を細かい一手ずつではなく、いくつかのまとまりとして扱うことで、学習信号を作りやすくする狙いがあるように見えます。

論文の記載

追加実験として、MLExpertはNatureBench Lite、agent scaffold optimization、algorithm optimizationでも性能が改善し、学習された最適化能力が他タスクへ一般化することが示唆されたと述べられている。

原文を確認する(Abstract)
“Further experiments show that MLExpert improves performance on NatureBench Lite, agent scaffold optimization, and algorithm optimization, suggesting that the learned optimization capability generalizes to other tasks”

この記事の用語

AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。

Mixture-of-Experts(MoE)
複数の小さなモデル(専門家)を用意し、入力に応じて使う部分を切り替える作り方。全部を毎回動かさず、得意分野を分担させやすい。たとえば: 症状に応じて内科・皮膚科など担当を振り分ける総合病院の受付に似ています。
長ホライズン
結果が出るまでに多くの手順や長い時間が必要なタイプの作業を指す。途中の行動が最終結果にどう効くかが見えにくくなりやすい。たとえば: 完成まで工程が多い長編小説の執筆のように、途中で成果が測りにくい作業。
Windowed Interaction RL(WIRL)
強化学習の一種で、複数のやりとりを一定のまとまり(ウィンドウ)として扱う考え方。細かい一手ごとでなく、区切り単位で成果を結びつけやすくする。たとえば: 1打ごとではなく、数ホールまとめてスコアを見て作戦を振り返るゴルフの反省会みたいなものです。
教師信号
学習で「何が正解か」「どれくらい良かったか」を教える手がかりとなる情報。正解ラベルや評価点など、学習の方向を決める材料。たとえば: テストの採点結果が、どこを間違えたか教えてくれるのに似ています。
post-training
いったん学習を終えたモデルに対して、追加で学習や調整を行う段階。新しいデータや目的に合わせて能力を整えるために行う。たとえば: 入社後研修で、配属先の仕事に合わせて追加で学び直すようなもの。
相互作用ハーネス
モデルが環境とやりとりするための実行用の枠組み。入力・出力・記録などを一定の形式でつなぎ、試行を回しやすくする仕組み。たとえば: ゲーム機本体とコントローラ、画面をつないで遊べる状態に整える配線一式のようなものです。
policy correction
集めた経験が「古い行動ルール」で生まれていても、今の行動ルールに合わせて学習が偏らないよう補正すること。データのズレを調整して学習を安定させる。たとえば: 昔の物価の家計簿を、今の物価に換算して見直すようなものです。

分からないところは、Manabis に聞こう

「長期の機械学習エンジニアリングを自律最適化するためのポストトレーニング手法とエージェントモデル「MLExpert」」を資料にして、AI の相棒 Manabis と一緒に学べます。こんなことを聞けます。

  • 「Mixture-of-Experts(MoE)」って、どういうこと?
  • 「長ホライズン」って、どういうこと?
  • この研究は、何の役に立つの?
  • いちばん大事なポイントを、たとえ話で教えて

この記事を資料に、Manabis と学ぶMANABISTAGE は、非営利の学びの場です。AI は、あなた自身の Claude の API キーで動きます。

この記事の検証結果

  • 引用の実在確認:通過
  • 原文との照合:通過
  • 数値の整合:通過
  • 別モデルによる検証:通過
  • 誇張表現チェック:通過
  • AI生成の開示:通過

議論(0件)

まだコメントはありません。論文について気になった点を、最初の質問として投稿しましょう。

    コメントを書く

    関連する記事