推論コスト
学習済みモデルに入力を与えて結果を出す(使う)ときに必要な計算資源や時間、費用のこと。利用回数が多いほど効いてくる。
たとえば: 料理そのものの作り方ではなく、注文が入ってから提供するまでの手間と材料費。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 拡散型言語モデルの再生成を「いつ・何を」直すか判定する検証器DiVR
拡散型言語モデルのremaskingで起きる修正の難しさを診断し、部分生成が正解に至るかを予測する検証器DiVRを提案。生成器は変えずに再生成のタイミングと候補選択を制御し、推論ベンチマークで精度向上を報告する。
- LLMアーキテクチャ研究の記録・レビュー・参照を支える公開基盤「ArchSpace」
LLMのアーキテクチャ提案を、実験と推論込みで記録し、コミュニティがレビューし後続研究が参照できる公開プラットフォーム「ArchSpace」を提案する。小規模実験からスケーリング則で大規模の損失を予測し、学術界と産業界の評価ギャップを埋める狙いがある。
