事前学習
本番の目的の前に、大量のデータでモデルに基礎的な知識やパターンを覚えさせておく学習。あとで別の目的に使いやすくする下準備。
たとえば: 専門の授業に入る前に、基礎問題集をたくさん解いて土台を作る感じ。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- マルチモーダル模型の「視覚エンコーダ」は何を担っているのかを切り分ける
視覚エンコーダが暗黙に束ねる要素を分解し、同一データと計算量を揃えた統制比較で影響を検証。視覚の事前学習よりも専用の視覚容量と配置が重要だと示唆する。
- 重み摂動なしでNeural Thicketsの利得は得られるのか:Logit PSVという見方
Neural Thicketsの性能向上を、重み空間の幾何学的説明に頼らず捉え直す研究。凍結モデルに対するlogitsへのランダムbiasと、選抜・集約からなるPSVを提示し、言語・視覚での有効性を論じる。
- 自律研究システムを測り、アイデア探索も促すベンチマーク「Auto-Research Arena」
自律研究(auto-research)を評価する新ベンチマーク「Auto-Research Arena」を提案。適格性と改善を分離し、9つのターゲットで比較可能にする。評価では逐次探索が高度手法を上回る場合も示された。
- 言語事前学習なしで学ぶText-to-Image:Halcyonが示した可能性
Halcyonは、100Mの画像-テキスト対からゼロから学習したT2Iモデル群。gFD比較と統制実験により、text-only事前学習がT2I改善に必須ではない可能性を示す。計算量効率と画像キャプショニング同時学習も論じる。
- 安全性を「基盤能力」として学ばせる中間段階:Safety Mid-Trainingの提案
LLMの安全性が後続学習で劣化したり、汎用能力とトレードオフになったりする問題に対し、事前学習と事後学習の間に「safety mid-training」を挟む枠組みを提案。Qwen3の複数モデルでASRを相対的に72%〜81%低減し、汎用能力も改善したと報告する。
