SHIRITAS

用語集

トークン

文章をAIが扱いやすい単位に分けたもの。単語の一部や記号、短い語などが1つの単位として数えられる。

たとえば: 文章をレゴの小さなブロックに分けて組み立てるイメージ。

AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。

この言葉が出てくる記事