トークン
文章をAIが扱いやすい単位に分けたもの。単語の一部や記号、短い語などが1つの単位として数えられる。
たとえば: 文章をレゴの小さなブロックに分けて組み立てるイメージ。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 分子相互作用の基盤モデル「Bonbon」は配列ペアだけの事前学習でゼロショット能力を示すと報告
タンパク質‐リガンド配列ペアを大規模に学習した基盤モデルBonbonが、機能・結合部位・結合様式の3階層でゼロショット能力を示すと報告。最大規模で能力が急に伸び、損失だけでは出現時期を読めない可能性も示された。
- 応答冒頭の「キュー」がベースモデルの推論挙動に結びつく可能性
学習データが、応答の最初のトークンとその後の推論挙動を結びつける仕組みを調べた研究。特定の開始トークンを固定すると数学タスクで精度が上がり、RLがその出現を増やす可能性や、データ介入でキュー効果を付与・除去できることを報告する。
