Transformer
文章や画像などの並びデータを扱うためのニューラルネットワークの一種。入力どうしの関係を見ながら情報をまとめて、理解や生成に使う。
たとえば: 会議で全員の発言を聞き比べて要点をまとめる司会のようなもの。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 機械論的解釈可能性はAI安全性にどう役立つのか:サーベイと主張評価の枠組み
本稿は、AI安全性の観点から機械論的解釈可能性を整理し、「仕組みの理解は安全性を高めるか」を問うサーベイである。行動評価との比較、基礎概念と手法群の概観に加え、主張を評価する統一フレームワークと6つの研究オリエンテーションを提示する。
- 事前学習Transformerを「単一モデル」のまま計算予算に合わせて可変化する再学習不要の手法
固定サイズで提供されがちなTransformerを、再学習なしでスパース性に応じてオンザフライ適応させる手法を提案。MLPニューロンと注意ヘッドを共通尺度で共同ランキングし、多数の目標スパース性を同時に最適化する。
