逆伝播
出力の誤差がどこから来たかをたどり、各部分をどれだけ直せばよいかを計算する手続き。学習でモデルの中身を更新する基本の仕組み。
たとえば: テストの間違いを見て、どの考え方のどこでつまずいたかを逆にたどって直す作業。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- フローポリシーをオフポリシーで強化学習する手法「QF3」の提案
QF3はフローポリシーをオフポリシーで学習するオンラインRL手法。フローマッチングにcriticのaction gradientを組み合わせ、更新をリプレイ近傍の次元に限定する。ヒューマノイドでFPO++比10xの壁時計時間高速化を報告する。
- ループ型言語モデルを「固定点」から見直し、学習・推論・RLの効率化を狙う
ループ型言語モデルの反復計算を、固定点近傍では経路が重要でないという見方から捉え直す。truncated backpropagationやterminal KV sharing、蒸留によるprefill高速化、RLの勾配計算高速化を述べる。depth priorとinput injectionを改良し、100M〜1.6Bでperplexity低下を報告する。
