微分可能な緩和
本来は「選ぶ/選ばない」のように離散的で解きにくい問題を、なめらかに連続的に近似して扱えるようにする工夫。計算で最適化しやすくする。
たとえば: 白黒の判定を、グレーの濃淡で調整できるようにするイメージ。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 事前学習Transformerを「単一モデル」のまま計算予算に合わせて可変化する再学習不要の手法
固定サイズで提供されがちなTransformerを、再学習なしでスパース性に応じてオンザフライ適応させる手法を提案。MLPニューロンと注意ヘッドを共通尺度で共同ランキングし、多数の目標スパース性を同時に最適化する。
