論文 / arXiv:2610.13948
Can Language Models Play the Wikipedia Game?
PLAIN SUMMARY / やさしい要約
大量の文書から答えにたどり着くのは、見出しや索引が十分でないと難しくなります。そこで研究者は、Wikipediaで「リンクだけをたどって目的のページに着く」ゲームを使い、言語モデルがうまく道案内できるかを調べました。人間より明確に優れたモデルは出なかった一方で、人間と同程度の成績のモデルはありました。言語や話題が変わると得意・不得意も変わることが示されています。たとえるなら、同じ地図アプリでも国や地域によって案内の上手さが変わる、という話に近いです。
AIが専門用語を使わずに書いた解説です。内容の正確さは、下の原文の要旨で確認してください。
ABSTRACT / 要旨(原文)
Language models increasingly support or automate information retrieval from document collections too large to index. This task is difficult when it requires specialist linguistic or scientific knowledge. We used the Wikipedia Game to test language models on an analogous information retrieval task. In the game, players must reach a target article using only article links. We compared sentence embedding models and LLMs across five Wikipedia languages and five academic-literature datasets. We construct very large local graphs of Wikipedia pages and of paper citations using OpenAlex and provide code to build and navigate them. This allows the study of language models' navigation capabilities without relying on third-party APIs. We compared the models with human and TF-IDF benchmarks. The Wikipedia Game format enables robust comparisons across techniques, languages, and domains. No model significantly outperformed humans, although the best models (GPT-o3 mini, GPT-4o, QwQ:32B, and DeepSeek-R1:70B) achieved comparable success. Performance and rankings varied across languages and topics, with implications for practitioners utilising these techniques.
ここに表示しているのは原論文の要旨です。AIによる要約や解釈は含みません。
