モデル活性
入力に反応して、モデル内部の各部分がどれくらい強く働いたかを表す信号。外から見える出力ではなく、内部の反応の様子を指す。
たとえば: 質問を聞いたときに、頭の中のどの考えが強く動いたかを測る脳波のようなイメージ。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- LLMの「価値」の学習が未学習の価値にどう波及するか——一般化を予測する課題と表現の比較
LLMの価値学習が未見の価値に及ぼす影響を予測する「alignment generalization prediction」を提案し、66価値で一般化効果を分析。活性ベース表現が記述ベースを上回り、下流では価値類似度がロバスト性と相関した。
