perplexity(PPL)
言語モデルが次の単語をどれだけ迷わず予測できるかを表す指標。値が小さいほど、文章の続きをうまく当てられていることが多い。
たとえば: 穴埋め問題で、選択肢に迷わず正解を選べるほどスコアが良い、という感覚。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- CompressionBench:コーディングエージェントはLLM圧縮を自律実行できるか
本研究は、LLM圧縮を「終端タスク」として定式化し、コーディングエージェントに圧縮後の重みと推論コードまで構築させて検証する。6エージェント×6設定で評価し、PPL誘導探索と独立検証の下での達成度と失敗要因を整理した。
