アテンションヘッド
入力のどこに注目するかを決める仕組みを、複数の観点に分けた単位。異なるヘッドが別々の手がかりを拾うことで表現が豊かになる。
たとえば: 記事を読むときに「見出し担当」「数字担当」など複数の視点でチェックする係。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- Heads of Security:注意ヘッドのゲート学習でプロンプトインジェクション耐性を高める試み
Heads of Security(HoS)は、ヘッドごとの注意ゲートを学習して指示とデータを分離し、注入命令に従いにくくする防御手法だという。Llama-3.3-70B-InstructとGPT-OSS-20Bで評価され、攻撃耐性とユーティリティの両立を報告している。
- 事前学習Transformerを「単一モデル」のまま計算予算に合わせて可変化する再学習不要の手法
固定サイズで提供されがちなTransformerを、再学習なしでスパース性に応じてオンザフライ適応させる手法を提案。MLPニューロンと注意ヘッドを共通尺度で共同ランキングし、多数の目標スパース性を同時に最適化する。
