Mixture-of-Experts(MoE)
複数の小さなモデル(専門家)を用意し、入力に応じて使う部分を切り替える作り方。全部を毎回動かさず、得意分野を分担させやすい。
たとえば: 症状に応じて内科・皮膚科など担当を振り分ける総合病院の受付に似ています。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- ロボット操作の予測と「スキルの再利用」をつなぐ枠組みAW-0
論文は、コードによる計画と、将来映像・行動の予測を同時に扱う「Agentic World Action Model」AW-0を提案する。コード・動画・行動を結合した生成ストリームとして共同モデリングし、スキルを再利用可能な形にまとめる自動キュレーションも導入した。
- Sage-A1.5は「長期実行」と「科学探索」をつなぐとするエージェントモデル
Sage-A1.5はA1を基盤にした35BのMixture-of-Expertsエージェントモデルで、長期の問題解決を「能力合成」で進めると述べる。委任と並列協調、進捗・証拠・内省による検証、探索的研究への拡張を柱に、複雑タスクや学際的応用で能力を示したとしている。
- 長期の機械学習エンジニアリングを自律最適化するためのポストトレーニング手法とエージェントモデル「MLExpert」
長い実験手順の中から有効な学習信号を取り出すポストトレーニング手法を提案し、35BのMoEエージェントモデルMLExpertに適用した。MLE-Bench Liteで平均メダル率を37.9%から72.7%へ改善したと報告する。
