SHIRITAS

論文 / arXiv:2611.06910

FrontierPhysics: Evaluating Agents for End-to-End Physics Research

PLAIN SUMMARY / やさしい要約

AIが物理の研究をどれだけ進められるかを、研究の最初から最後まで通して確かめる仕組みが提案されました。課題は、調べもの、計画づくり、作業の実行、そして論文の形にまとめるところまで含みます。採点は「答えが合っているか」だけでなく「論文として出せそうか」も見ます。たとえるなら、テストの一問だけでなく、レポート提出までの一連の流れを通して評価するイメージです。

AIが専門用語を使わずに書いた解説です。内容の正確さは、下の原文の要旨で確認してください。

ABSTRACT / 要旨(原文)

AI agents are playing an increasingly important role in physics research. However, existing physics benchmarks only evaluate fixed questions, isolated sub-tasks, or paper reproduction with given solutions, and rarely check research quality alongside correctness. We introduce FrontierPhysics, an end-to-end benchmark with 56 tasks made by 42 physicists based on their own research, covering nine domains across theoretical, computational, and experimental physics. Each task requires agents to review the literature, develop a research plan, conduct research and experiments, and produce structured outputs and scientific manuscripts. Combining deterministic verifiers with expert-authored rubrics, FrontierPhysics evaluates whether agents' research is correct and publishable. Across 22 models in 26 configurations, no configuration passes more than 46 of its 168 rollouts. Manual review of agent trajectories shows that frontier agents' main weaknesses are insufficiently rigorous reasoning and limited expert intuition, rather than gaps in physics knowledge or execution errors.

ここに表示しているのは原論文の要旨です。AIによる要約や解釈は含みません。

この論文を取り上げた記事