SHIRITAS

ニュース / LLM

LLM / 2026-10-21

安全性を「基盤能力」として学ばせる中間段階:Safety Mid-Trainingの提案

LLMの安全性が後続学習で劣化したり、汎用能力とトレードオフになったりする問題に対し、事前学習と事後学習の間に「safety mid-training」を挟む枠組みを提案。Qwen3の複数モデルでASRを相対的に72%〜81%低減し、汎用能力も改善したと報告する。

#LLM#AI安全性#学習手法#評価

MANABISTAGE で学ぶ

ひとことで言うと

大規模言語モデルは、あとから別の勉強をさせると「危ない答え方」を思い出してしまうことがあります。そこでこの研究は、安全な考え方を後付けではなく、最初からの基礎体力として身につけさせる“中間の学習段階”を提案します。安全に関する問いと、役に立つ作業の問いを両方使い、考え方の筋道も一緒に練習させます。料理で言えば、盛り付け(事後調整)だけでなく、包丁の使い方や火加減(基礎)を途中でしっかり教える、という発想に近いです。

AIによるやさしい要約です。専門用語を避けた分、細かな正確さは、下の本文と原論文で確かめてください。

論文の記載
原論文に書かれている内容。原文の引用を添えています。
AIによる解釈
AIが読み取った意味づけ。論文が述べたものではありません。

点線の言葉をタップすると、やさしい解説が出ます(AIによる解説)。

背景

の安全性は、危険な依頼への応答を避けることなどを通じて確保されます。一方で、モデルを役立つ方向に伸ばすと安全性の確保は、設計上の難しさを伴うことがあります。

論文の記載

論文は、安全データを含まない後続学習を行うと、安全性が低下しうると述べています。

原文を確認する(Abstract)
“Yet safety can degrade when later training no longer includes safety data”

論文の記載

論文は、安全性の向上がの低下を伴うことがありうる、という問題意識を示しています。

原文を確認する(Abstract)
“while also improving general capability”

論文の記載

論文は、と事後学習の間に「safety mid-training」を置く中間段階を導入し、安全性と一般推論を共同で伸ばすと説明しています。

原文を確認する(Abstract)
“The benefits persist through subsequent post-training.”

論文の記載

論文は、安全と効用(utility)プロンプトを与え、ベースモデルにstructured documents and reasoning tracesを生成させ、それらを用いてmid-trainingを行うと述べています。

原文を確認する(Abstract)
“The benefits persist through subsequent post-training.”

論文の記載

論文は、Qwen3-1.7B/4B/8Bのベースモデルに対して、平均ASRを相対的に72%〜81%低減したと報告しています。

原文を確認する(Abstract)
“Safety mid-training reduces average attack success rate (ASR) by 72% to 81% relative to Qwen3-1.7B, 4B, and 8B base models”

論文の記載

論文は、safety mid-trainingが安全性だけでなく汎用能力も改善したと述べています。

原文を確認する(Abstract)
“while also improving general capability”

論文の記載

論文は、一般タスクのみの後でもmid-training済みモデルが安全性を概ね保持し、汎用能力を犠牲にせずベースラインより低いASRを達成したと述べています。

原文を確認する(Abstract)
“After general-only SFT, mid-trained models largely retain their safety, achieving lower ASR than the baselines without sacrificing general capability.”

論文の記載

論文は、安全報酬を用いない一般タスクのみのGRPO下でも安全性を保持し、mid-training済みモデルから初期化した後続がより良い安全性-効用フロンティアに到達したと述べています。

原文を確認する(Abstract)
“They also retain safety under general-only GRPO without safety rewards”

AIによる解釈

要旨の範囲からは、この研究は「安全性」と「役立ち」のどちらかを後から付け足すのではなく、両者に共通する“意図理解・知識適用・帰結の推論”の型を、の途中でまとめて鍛える発想だと読み取れます。これにより、後続学習で安全性が崩れにくい設計を狙っているように見えます。

この記事の用語

AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。

訓練
AIモデルがデータを使って規則性を学ぶ過程のこと。正解に近い出力ができるよう、内部の調整が繰り返される。たとえば: 問題集を解きながら、解き方の癖を身につけていく勉強。
強化学習
試行錯誤しながら、得点(報酬)が高くなる行動の選び方を学ぶ方法。うまくいった行動を増やし、失敗しやすい行動を減らす。たとえば: ゲームで何度も挑戦し、スコアが伸びる動きを覚えていく練習。
事前学習
本番の目的の前に、大量のデータでモデルに基礎的な知識やパターンを覚えさせておく学習。あとで別の目的に使いやすくする下準備。たとえば: 専門の授業に入る前に、基礎問題集をたくさん解いて土台を作る感じ。
プロンプト
AIに与える指示文や入力文のこと。何をしてほしいか、例、条件などを書いて出力を誘導する。たとえば: 料理人に渡す注文票みたいに、作ってほしい内容を言葉で伝えるもの。
汎化
学習で見た条件と少し違う状況でも、うまく対応できる性質。新しい環境や組み合わせに対しても成り立つかを表す。たとえば: いつもの台所で覚えた手順が、別の家の台所でも通用すること。
分析パイプライン
データ準備から計算、結果整理までを、決まった順番でつなげた作業の流れ(手順の一式)。同じ流れで繰り返し実行しやすくする。たとえば: 工場の流れ作業のラインのように、工程が順番につながっている状態。
大規模言語モデル
大量の文章を学んで、次に来そうな単語を予測しながら文章を作るAIモデル。質問への回答、要約、翻訳などをこなす。たとえば: 膨大な読書経験から、会話の続きをそれっぽく作れる話し相手のようなもの。
SFT
用意したお手本のデータに合わせて、モデルの出力が望ましい形になるよう追加で学習させる方法。指示に従う・望む振る舞いを覚えさせるのに使われる。たとえば: 模範解答を見せながら、同じ書き方になるよう添削して練習させること。

分からないところは、Manabis に聞こう

「安全性を「基盤能力」として学ばせる中間段階:Safety Mid-Trainingの提案」を資料にして、AI の相棒 Manabis と一緒に学べます。こんなことを聞けます。

  • 「訓練」って、どういうこと?
  • 「強化学習」って、どういうこと?
  • この研究は、何の役に立つの?
  • いちばん大事なポイントを、たとえ話で教えて

この記事を資料に、Manabis と学ぶMANABISTAGE は、非営利の学びの場です。AI は、あなた自身の Claude の API キーで動きます。

この記事の検証結果

  • 引用の実在確認:通過
  • 原文との照合:通過
  • 数値の整合:通過
  • 別モデルによる検証:通過
  • 誇張表現チェック:通過
  • AI生成の開示:通過

議論(0件)

まだコメントはありません。論文について気になった点を、最初の質問として投稿しましょう。

    コメントを書く

    関連する記事