スケーリング則
モデルの大きさや計算量などを増やしたとき、性能がどう変わるかを経験的な式で表した規則。将来の規模での性能を見積もる目的で使われる。
たとえば: エンジン排気量を上げると燃費や加速がどう変わるかの「目安の法則」を持つ感じ。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- LLMアーキテクチャ研究の記録・レビュー・参照を支える公開基盤「ArchSpace」
LLMのアーキテクチャ提案を、実験と推論込みで記録し、コミュニティがレビューし後続研究が参照できる公開プラットフォーム「ArchSpace」を提案する。小規模実験からスケーリング則で大規模の損失を予測し、学術界と産業界の評価ギャップを埋める狙いがある。
- 合成環境の「構成」がツール使用エージェントの汎化を左右する、というスケーリング則
LLMのツール使用エージェント訓練で、合成環境データの規模だけでなく構成(ツール・タスク・データベース多様性、複雑性)が汎化に効くことを調べ、予測可能なスケーリング則を導いた研究。
- RoboJEPAが示す、ロボット向け潜在世界モデルの「計算量と誤差」のスケーリング
JEPAベースの潜在世界モデルRoboJEPAについて、計算量に対するimagination errorのスケーリング則(2次のパワーロー)と、計画性能との相関を示した。実機で単一ゴール画像に向けたゼロショット計画のデモと、コード公開も報告している。
