論文 / arXiv:2610.23845
AI-Driven Reproducibility and Analytical Robustness in Scientific Discovery
PLAIN SUMMARY / やさしい要約
研究結果が本当に同じ手順で再現できるか確かめるには、ふつう多くの手作業が必要です。この研究は、文章を扱えるAI(LLM)を「作業役」として使い、研究の結論をもう一度たどり直したり、やり方の違いが結論に影響するかを調べたりできるかを試しました。がんに関する米国のデータベースSEERをもとに、過去の論文を集めた材料集(ベンチマーク)を作り、たくさんの主張を対象に再現を行いました。たとえるなら、誰かの料理レシピをAIが作り直し、調味料の入れ方を少し変えたら味が変わるかもチェックして、人が見直すべき点を印を付けるようなものです。
AIが専門用語を使わずに書いた解説です。内容の正確さは、下の原文の要旨で確認してください。
ABSTRACT / 要旨(原文)
Reproducible and analytically robust research findings are essential to scientific progress, but evaluating these properties typically requires costly manual effort. We investigate whether LLM agents can help automate reproduction and robustness analysis, using a medical case study grounded in the Surveillance, Epidemiology, and End Results (SEER) database, a widely used U.S. cancer registry underlying tens of thousands of published studies. First, we introduce SEER-Repro, a benchmark of 20 published SEER-based papers together with the data and resources required to reproduce their findings. Second, we create an AI agent that successfully reproduces 77.4% of 2,190 atomic claims, while providing executable baselines for further analysis. Third, we develop an agentic analysis pipeline to test the robustness of the medical findings by identifying analytical choices underlying each finding, proposing defensible alternatives, and rerunning the analysis to determine whether those choices affect the conclusion. Across published papers in SEER-Repro, our pipeline identifies potentially consequential analytical choices in 9.5% of fully reproduced findings and flags them for expert review. These results show how LLM agents can support scientific review by reproducing findings, systematically testing their robustness, and directing expert attention toward potentially consequential analytical choices.
ここに表示しているのは原論文の要旨です。AIによる要約や解釈は含みません。
