論文 / arXiv:2611.17320
Learning When Diffusion Language Models Should Regenerate
PLAIN SUMMARY / やさしい要約
文章を作る途中で「ここは直したほうがいい」と分かっていても、いつ・どこを直すべきかの判断は簡単ではありません。この研究は、作りかけの答えが最終的に正解にたどり着きそうかを見張る仕組み(DiVR)を提案します。たとえば、下書きの段階でこのまま進めて良さそうか、それとも書き直したほうが良さそうかを判定する“編集者”のような役割です。5つの推論ベンチマークで、正解率が35.3%から43.4%に上がったと報告しています。
AIが専門用語を使わずに書いた解説です。内容の正確さは、下の原文の要旨で確認してください。
ABSTRACT / 要旨(原文)
Remasking allows diffusion language models to revisit generated text, but effective correction requires knowing when and what to revise. Our diagnosis on Sudoku reveals two gaps. Hidden states contain error information that token confidence does not reliably expose, and remasking an isolated error usually reproduces it when the surrounding context remains fixed. These findings motivate DiVR , a verifier that predicts whether a partially generated sequence will reach a correct answer. Trained on the final correctness of the model's own trajectories, DiVR decides when to regenerate a block and which alternative to retain, while the generator itself stays unchanged. On five reasoning benchmarks with LLaDA-8B-Base, DiVR raises the average accuracy of the fine-tuned generator from 35.3\% to 43.4\% at $1.9$-$3.5\times$ the cost of greedy decoding, above search baselines that use $3.8$-$7.4\times$. It also complements post-training such as supervised fine-tuning and reinforcement learning, and generalizes to other generators, including Dream.
ここに表示しているのは原論文の要旨です。AIによる要約や解釈は含みません。
