SHIRITAS

論文 / arXiv:2610.26863

Text-to-Image Generative Modeling Without Language Pretraining

PLAIN SUMMARY / やさしい要約

文章から画像を作るAIは、事前に大量の文章だけで学ぶことが多いです。今回の研究は、その「文章だけの事前学習」が本当に必要かを確かめました。画像と説明文のセットだけを使ってゼロから学んだモデル群「Halcyon」を作り、別の方法と比べています。たとえるなら、読書(文章だけ)を先にしなくても、写真と説明文のセット教材だけで絵作りを上達できるかを試したようなものです。

AIが専門用語を使わずに書いた解説です。内容の正確さは、下の原文の要旨で確認してください。

ABSTRACT / 要旨(原文)

Modern text-to-image (T2I) systems use internet-scale language pretraining for text-conditioned image generation. We ask whether language pretraining is necessary for strong T2I generation. We introduce Halcyon, a family of early-fusion multimodal autoregressive models pretrained entirely from scratch on GPIC, a dataset of 100M image-text pairs. Halcyon-0.52B outperforms LlamaGen-XL/8 (48.0 vs. 63.3 gFD) with 18.2$\times$ less pretraining compute. Further, Halcyon-1.6B outperforms JiT-T2I-XXL/8++ (35.3 vs. 41.0 gFD) with 275$\times$ less pretraining compute. Controlled experiments show that text-only pretraining does not improve T2I generation. Halcyon also learns image captioning by replacing caption dropout with I2T supervision, maintaining competitive T2I generation quality under the same pretraining budget. We show that strong T2I systems can be trained from scratch without internet-scale language pretraining. Code and models are available at https://cs.stanford.edu/~keshik/halcyon

ここに表示しているのは原論文の要旨です。AIによる要約や解釈は含みません。

この論文を取り上げた記事