forward differentiation
式の入力から順に計算を追いながら、出力が入力の小さな変化にどう反応するか(変化率)も一緒に伝えていく微分の方法。
たとえば: 組み立て順に、次の工程へ「ここを少し変えると最終結果はこれだけ動く」をメモしながら進む作業。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 言語モデルの「どの文脈が効いたか」を少ない評価回数で推定するスケッチング手法
プロンプトの一部を抜いたときの出力変化(LOO attribution)を、安定性仮定の下で少ないモデル評価回数で推定する手法を提案。必要回数の上界と、オラクルモデルでの一致する下界を示した。
