SHIRITAS

用語集

推論レイテンシ

モデルに入力を与えてから結果が返ってくるまでの待ち時間。短いほど応答が速く感じられる。

たとえば: 店員に注文してから料理が出てくるまでの時間。

AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。

この言葉が出てくる記事