SHIRITAS

ニュース / LLM

LLM / 2026-10-07

多数候補の「power sampling」を、1回の生成に近づける学習法OPPD

power distributionで推論を改善する際の「多数候補を生成して採点する」負担を減らすため、1回の生成で同様の効果を狙う学習手法OPPDを提案。MATH500やGSM8Kなどで単発生成の精度向上を報告している。

#大規模言語モデル#蒸留#サンプリング#推論#強化学習

MANABISTAGE で学ぶ

ひとことで言うと

言語モデルは、正しい答えが「1つずつの間違い」よりは起こりやすくても、たくさんの間違いが合計すると間違いを引きやすいことがあります。そこで、いちばんありそうな答えに確率を寄せる方法(power distribution)がありますが、たくさんの候補を出して点を付ける手間が必要でした。この研究は、その「候補をたくさん試す」効果を、なるべく1回の出力で出せるようにモデルを学習させる方法を提案します。たとえるなら、何度も試行して当たりを引くのではなく、当たりを引きやすい引き方を練習して身につける発想です。

AIによるやさしい要約です。専門用語を避けた分、細かな正確さは、下の本文と原論文で確かめてください。

論文の記載
原論文に書かれている内容。原文の引用を添えています。
AIによる解釈
AIが読み取った意味づけ。論文が述べたものではありません。

点線の言葉をタップすると、やさしい解説が出ます(AIによる解説)。

背景

のでは、1回の出力だけだと誤答を引いてしまうことがあり、複数回の生成や選別で成績を上げようとする発想があります。

論文の記載

論文は、正答が「個々の誤答」より高い確率でも、誤答群が合計で大きな確率質量を持つため、サンプルとしては誤答を引きがちになりうると述べています。

原文を確認する(Abstract)
“A language model can give a correct answer more probability than any single incorrect answer and still usually sample an incorrect one”

論文の記載

power distributionは、各「完了回答」の確率を1より大きい指数でべき乗して正規化し、モデルがより尤もらしいとみなす回答へ確率を移す(sharpening)と説明されています。

原文を確認する(Abstract)
“The power distribution raises each complete answer's probability to a power above one and renormalizes, shifting probability toward answers the model finds most likely (sharpening).”

論文の記載

power distributionからのはパラメータを変えずに推論を改善する一方で、クエリごとに多数のスコア付き候補が必要だとしています。

原文を確認する(Abstract)
“Sampling from it improves reasoning without changing parameters, but needs many scored candidates per query.”

論文の記載

提案手法の power (OPPD)は、学習対象モデルが候補を生成し、凍結した教師モデルのpower distributionで重み付けするサンプラを用い、その重みを最大尤度更新にも用いると述べています。

原文を確認する(Abstract)
“On-policy power distillation (OPPD) runs a sequential Monte Carlo sampler in which the model being trained generates candidates and a frozen teacher's power distribution weights them; the same probabilities weight each answer in a maximum-likelihood update.”

論文の記載

OPPD学習により、同温度・未学習モデル比で単発生成の精度がMATH500で最大+23.0点、GSM8Kで+27.3点向上したと報告しています。

原文を確認する(Abstract)
“Training raises single-generation accuracy by up to 23.0 points on MATH500”

論文の記載

単発生成が、64候補の既報power samplingよりMATH500で+2.4点、GSM8Kで+3.5点上回り、未学習モデルが16候補で得る改善の94 percentを回復したと述べています。

原文を確認する(Abstract)
“and one generation scores 2.4 and 3.5 points above published power sampling with 64 candidates”

論文の記載

同一チェックポイントと予算で検証済み報酬を用いるGRPOと比べ、参照解なしでMATH500/GSM8K/AIMEにてそれぞれ+3.8/+4.0/+5.4点高く、またGRPO後にOPPDを適用すると最大+9.3点上積みできるとしています。

原文を確認する(Abstract)
“OPPD scores 3.8, 4.0 and 5.4 points higher on MATH500, GSM8K and AIME using no reference answers”

AIによる解釈

要旨の記述どおりに読む限り、この研究は「多数候補を生成してスコア付けすることで得ていた改善」を、学習によって“1回の生成側”へ移し替え、推論時の手間(候補生成・採点)を減らす方向を狙っている、と読み取れます。

この記事の用語

AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。

On-policy
ある方針(選び方)で実際に集めたデータを、同じ方針を良くするために使うやり方。別の選び方で集めた過去データに強く頼らない。たとえば: 自分が今やっている勉強法で解いた問題を材料に、その勉強法を改善する感じ。
サンプリング
確率に従って、候補の中から実際の出力をランダムに選ぶこと。毎回同じ入力でも結果が変わることがある。たとえば: くじ引きで、当たりやすさ(確率)に応じて引くものが決まる感じ。
推論
学習済みのAIモデルを使って、入力に対する出力(回答や予測)を作る段階のこと。学習して能力を変える「訓練」と区別される。たとえば: 勉強(訓練)は終えて、試験本番で解答を作る場面。
大規模言語モデル
大量の文章を学んで、次に来そうな単語を予測しながら文章を作るAIモデル。質問への回答、要約、翻訳などをこなす。たとえば: 膨大な読書経験から、会話の続きをそれっぽく作れる話し相手のようなもの。
蒸留
大きなモデルの出力を手本にして、より小さなモデルに同じような振る舞いを学ばせる方法。小型化や高速化のために使われる。たとえば: 熟練者のやり方を観察して、初心者がコツを写し取る。
Sequential Monte Carlo
不確かさ(確率)を扱うために、多数の候補を並行して追いかけ、重み付けしながら少しずつ更新する計算手法の総称。時間順や段階的な処理に向く。たとえば: 複数の仮説を同時に持って、状況が進むたびに「有力さ」を更新していく捜査の進め方。

分からないところは、Manabis に聞こう

「多数候補の「power sampling」を、1回の生成に近づける学習法OPPD」を資料にして、AI の相棒 Manabis と一緒に学べます。こんなことを聞けます。

  • 「On-policy」って、どういうこと?
  • 「サンプリング」って、どういうこと?
  • この研究は、何の役に立つの?
  • いちばん大事なポイントを、たとえ話で教えて

この記事を資料に、Manabis と学ぶMANABISTAGE は、非営利の学びの場です。AI は、あなた自身の Claude の API キーで動きます。

この記事の検証結果

  • 引用の実在確認:通過
  • 原文との照合:通過
  • 数値の整合:通過
  • 別モデルによる検証:通過
  • 誇張表現チェック:通過
  • AI生成の開示:通過

議論(0件)

まだコメントはありません。論文について気になった点を、最初の質問として投稿しましょう。

    コメントを書く

    関連する記事