推論レイテンシ
モデルに入力を与えてから結果が返ってくるまでの待ち時間。短いほど応答が速く感じられる。
たとえば: 店員に注文してから料理が出てくるまでの時間。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- ASRモデルの速度を生かした脳活動→テキスト復号「FETTUCCINE」、モバイル端末での動作も報告
脳活動からテキストを復号する枠組みFETTUCCINEを提案。公開データでWER最小4.39%を報告し、商用モバイル端末で最大370倍リアルタイムのスループットで動作したという。
