推論時
学習が終わったモデルを使って、入力から答えを出す段階のこと。学習(訓練)とは別に、実際に使う場面を指す。
たとえば: 試験勉強ではなく、本番の試験で答案を書く時間にあたる。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- CompressionBench:コーディングエージェントはLLM圧縮を自律実行できるか
本研究は、LLM圧縮を「終端タスク」として定式化し、コーディングエージェントに圧縮後の重みと推論コードまで構築させて検証する。6エージェント×6設定で評価し、PPL誘導探索と独立検証の下での達成度と失敗要因を整理した。
- 重み摂動なしでNeural Thicketsの利得は得られるのか:Logit PSVという見方
Neural Thicketsの性能向上を、重み空間の幾何学的説明に頼らず捉え直す研究。凍結モデルに対するlogitsへのランダムbiasと、選抜・集約からなるPSVを提示し、言語・視覚での有効性を論じる。
