固定点
繰り返し計算をすると、だんだん変化が小さくなって最終的にほぼ同じ状態に落ち着く、その「落ち着き先」を指す言葉。数学や最適化でよく使われる。
たとえば: 何度かき混ぜても、最後は同じ渦の形に落ち着く水流のようなもの。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- ループ型言語モデルを「固定点」から見直し、学習・推論・RLの効率化を狙う
ループ型言語モデルの反復計算を、固定点近傍では経路が重要でないという見方から捉え直す。truncated backpropagationやterminal KV sharing、蒸留によるprefill高速化、RLの勾配計算高速化を述べる。depth priorとinput injectionを改良し、100M〜1.6Bでperplexity低下を報告する。
