ベンチマーク
能力を同じ条件で比べるための標準的なテストや評価用データセット。モデルの得意不得意を測る物差しになる。
たとえば: いろいろな車を同じコースで走らせて性能比較する試験コース。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- LLMの「嘘」を方向ベクトルで見分ける試み:persona directionとknowledge direction
役割演技から得るラベル不要の「persona direction」と、知識の有無を対比する「knowledge direction」でLLMの欺瞞検出を検証。Liars' Benchでは3/4モデルで従来プローブより良い一方、知識に関する嘘では限界も示された。
- 対照学習とプロトタイプ推論でjailbreak試行を検知する「JDPI」
大規模言語モデルの安全運用で問題となるjailbreak試行の検知に向け、追加の下流分類器を学習せずに判定するJDPIを提案。バイナリ安全ラベルからプロトタイプを作り距離で予測し、複数ベンチマークや転移設定で性能を比較した。
- LLMエージェントは自己改善の手順をどこまで指示される必要があるのか
基本的な道具と資源、自己改善という大枠の目標だけを与えたとき、LLMエージェントが自分で自己学習の手順を組み立てられるかをゲーム環境で検討した研究。
- タンパク質-リガンド結合ポーズの順位付けを測るベンチマーク「Pyrite」とLLMエージェント
小分子創薬で難しい結合ポーズの順位付けに向け、1,500ポーズペアのベンチマークPyriteを提案。構造化表現と2種のLLMエージェントで比較し、特徴量生成型が最大74%精度を示した。
- Continual-ARC:継続学習の「生涯ストリーム」をARC由来タスクで測る提案
ARC-AGI由来のタスクを、再登場タスクと新規タスクが混在する「生涯ストリーム」として提示し、予算消費に基づくスコアでmemory-basedとweight-basedを同一尺度で比較するContinual-ARCを提案する。
- マルチエージェントAIの「仕事の段取り力」を測るベンチマークWorkflowArena
LLMが複数の作業者役エージェントを率いる際の「実行可能なワークフロー設計・調整能力」をworkflow orchestrationとして定義し、145タスクからなるWorkflowArenaで評価する枠組みを提示する。成果物の品質と委任のしかたを併せて測る点が特徴。
- Scientist World:論文を「実行できる環境」に変換し、AI-Scientistを評価・記録・訓練する枠組み
Scientist Worldは、研究論文を実行可能な環境として扱い、AI-Scientistを人間著者の達成と比較して評価する仕組みを提案する。1,000件の検証済み環境と6,400時間の研究トレースを公開し、評価と訓練にも用いたという。
- MLリポジトリの「PyTorch→JAX」移植を測るベンチマークXStack
PyTorch(NVIDIA GPU)とJAX(Google TPU)の間でMLリポジトリを移植するエージェントを評価するベンチマークXStackを提案。移植の合否を公開結果に基づき判定し、現状の成功率のばらつきも報告する。
- 物理研究を「正しさ」と「出版可能性」まで測るベンチマークFrontierPhysics
FrontierPhysicsは、文献調査から論文原稿作成までを含む物理研究のエンドツーエンド評価を目指す。決定的検証器と専門家ルーブリックで、正しさと出版可能性を併せて判定する。22モデル×26構成の結果、合格数は168回中46回を超えなかった。
- LLMのデータ帰属を「何が悪いのか」切り分ける:制御ベンチマークCATTと評価設計の論点
LLMのデータ帰属評価で失敗要因を切り分けるため、架空知識で学習させた制御ベンチマークCATTを導入。冗長性やディストラクタが性能を悪化させ、損失やトークン集約の選択が結果を大きく左右すると示す。
- 合成環境の「構成」がツール使用エージェントの汎化を左右する、というスケーリング則
LLMのツール使用エージェント訓練で、合成環境データの規模だけでなく構成(ツール・タスク・データベース多様性、複雑性)が汎化に効くことを調べ、予測可能なスケーリング則を導いた研究。
- 自律研究システムを測り、アイデア探索も促すベンチマーク「Auto-Research Arena」
自律研究(auto-research)を評価する新ベンチマーク「Auto-Research Arena」を提案。適格性と改善を分離し、9つのターゲットで比較可能にする。評価では逐次探索が高度手法を上回る場合も示された。
- RobustRLlib:ロバスト強化学習を同一基盤で比べるための統一ライブラリ兼ベンチマーク
RobustRLlibは、ロバスト強化学習の再利用性の低さと能力境界の不明確さという課題に対し、17手法の統一実装と多様な評価環境、273設定の評価による能力マップ提示をまとめて提供する。
- ツール応答の「重要情報の抜け」による不安全行動を測る:EpiSEM-Benchの提案
ツール使用型LLMエージェントが安全判断に必要な事実を欠いたとき、禁止行為を実行しうる問題に対し、実行可能ベンチマークEpiSEM-Benchを提案。300の対応タスクペアと監査ツールで、不安全実行・安全境界・証拠回復を評価する。
- Ropedia W0:人間とロボットをまたぐ「移動+操作」の世界モデルを目指す研究
人間と複数ロボットのエゴセントリックデータを統一表現で学習し、移動と操作を同時に予測する世界モデルRopedia W0を提案する。10k時間(人)+3k時間(ロボ)のデータセットと長時間ベンチマークを整備し、複数ベンチマークでSOTAと報告している。
- LLMエージェントで研究結果の再現と頑健性分析を支援する試み(SEERを用いたケーススタディ)
SEERを用いた既刊研究を対象に、LLMエージェントで主張の再現と分析選択の影響検証を自動化できるかを検討。20本からなるベンチマークSEER-Reproを提示し、2,190件の主張で77.4%の再現を報告する。完全再現できた所見のうち9.5%で重要になり得る分析選択を特定し、専門家レビューへ回す枠組みを示した。
- 家庭向けロボットの「好み」を測るベンチマークLIBERO-PeRM
LIBERO-PeRMは、ロボット操作における「タスク達成」と「嗜好満足」を分けて評価するためのベンチマーク。観測可能な嗜好を分類し、嗜好あり/なしのペアデモと312タスクを提供する。実験ではゼロショットの個人化が難しく、SFTで嗜好が学習可能になると報告する。
- SafeDriveVLA:自然言語ナビの「危険な指示」に備えるための評価とVLA手法
自動運転VLAに対し、自然言語ナビが生む不安全/悪意ある指示の脆弱性を問題提起。ナビ追従とコンフリクト認識、敵対的頑健性を同時に測るベンチマークと、三段階モード予測+world model dreamingで対処するSafeDriveVLAを提案する。
- 言語エージェント学習で「行動」と「先読み」を同時に鍛える提案(Co-Evolving Acting and Forecasting)
長いロールアウトのコストと終端報酬偏重で中間監督が活きにくい課題に対し、成功軌跡から後続の行動列を学ぶ「multi-step action targets」を導入。5ベンチマークでGRPO等より強い総合性能と、ScienceWorldで最大2.0×のサンプル効率を報告する。
- 白箱プローブでLLMの欺瞞を検出する試み:大規模データセットと新アーキテクチャで評価
LLMエージェントの監視に向け、白箱プローブによる欺瞞検出をフロンティア監視設定へ拡張する研究が報告された。SHADE-ArenaでAUC 98.8%を示し、文脈だけでは判定しにくい「introspective deception」でも最大AUC 99.7%の識別を示した。
