論文解説: LLaDA-Image — 画像だけで土台を作り、2〜4ステップまで蒸留する完全公開レシピ

画像とテキストの対データに頼らず、まず「画像だけ」で生成の土台を作る学習レシピ。6BのDiTをゼロから訓練し2〜4ステップ推論まで蒸留した LLaDA-Image を、論文本文の設計判断に沿って1から解説する。

LLaDA-Image: Building Strong Image Generators with Fully Open Training Recipes

画像だけで土台を作る、という選択

原題は "LLaDA-Image: Building Strong Image Generators with Fully Open Training Recipes"（arXiv:2609.03796、2026年9月3日公開、Inclusion AI の AGI Research Center）。

要旨はこうです。LLaDA-Image は、ゼロから学習した60億パラメータの拡散Transformer（DiT）と、拡散言語モデル LLaDA 2.0 Mini の上に作られた凍結された視覚言語理解モジュールを組み合わせた統合フレームワークである。最初から画像とテキストの対データに頼るのではなく、まず画像だけの事前学習と中間学習で強い視覚的な生成事前分布を作る。生成の学習パイプラインは約2億2000万サンプルからなり、その98%が実写画像。最適化には DiT 全体でパラメータを持たない RMSNorm と Muon オプティマイザを使う。得られたモデルは写実性の高い画像を生成し、細かい編集指示にも従う。さらに LLaDA-Image Turbo へ蒸留して2〜4ステップの高速推論を可能にした。Qwen-Image-Bench で英語 53.53、中国語 53.38 を記録し、両トラックでオープンソース最高性能。重み・学習コード・詳細なレシピを公開する。

この記事の主役は点数よりも手順です。論文自身が冒頭の Scope で「すべての部品が普遍的に最適だとは主張しない」と断っています。

比喩: デッサンと注文の聞き取りを、別々に練習する

従来のやり方（§1）は、絵描きに最初から「注文書つきの絵」だけを見せて練習させます。注文書がキャプションです。困りごとは2つ。注文書は高い。そして注文書は嘘になりうる——高解像度の写真を計算量の都合で $256\times256$ に縮めると、注文書に書かれた細部が画像側から消えるからです。

LLaDA-Image の発想は単純です。デッサンの練習に注文書は要らない。画像そのものが、それを描くのに必要な意味をすでに含んでいるので、凍結した視覚言語モデル（VLM）に見せて意味を取り出させ、条件として使えばいい（§4.2）。

全体像: 3つの部品と、2本の経路

構成は3部品です（§2）。理解モジュールは LLaDA 2.0 Mini を背骨とする拡散LLMベースの VLM。コネクタは Residual Query Adapter（RQA）と浅いTransformer積みの2段構えで、VLM の表現を DiT の条件空間へ橋渡しします。生成器は純粋な単一ストリーム DiT で、条件トークンと画像トークンを同じ列に並べて同じブロック群で処理します。

経路は2本。テキストから画像を作るときは、指示文が「RQA → 凍結VLM → コネクタ」を通って条件になります。編集のときが面白いところで、参照画像は VLM をまったく通りません（§2.1）。SigLIP-VQ の特徴が DiT 専用の枝を経て条件側に合流し、さらに FLUX.2 の VAE で符号化した「きれいな潜在表現」がノイズ入り潜在表現に連結されます（§2.3）。前者が「何が写っているか」の意味、後者が「変えなくていい場所のピクセル」の証拠です。

画像を自分自身のお手本にする

事前学習の中身です（§4.2）。パッチ特徴を全部そのまま条件に使うと答えを丸ごと渡すことになり、モデルは入力をコピーするだけの自明な写像を覚えます。そこで比率 $\rho_{\mathrm{img}}$ でトークンをマスクし、疎な手がかりから密な絵を作る課題に変えます。目的関数はフローマッチングで、ノイズ $\mathbf{z}$ と時刻 $t\sim\mathcal{U}(0,1)$ から補間 $\mathbf{x}_t=(1-t)\mathbf{x}+t\mathbf{z}$ を作り、

を最小化します。要するに「今いる中間地点からきれいな画像へ向かう向き」を当てさせる回帰で、$t$ が 1 に近いほどノイズだらけ、0 に近いほど絵ができています。更新されるのは DiT・RQA・コネクタだけ、VLM と視覚エンコーダは凍結のままです。