2026-08-13·無料·論文·13分で読めます

論文解説: マルチモーダル事前学習の『物理法則』— 知識はどのモダリティからどこへ流れるのか

テキストと画像を最初から1つのモデルで学ばせると何が起きるのか。Meta FAIRらの大規模な統制実験から、知識の非対称な流れ、シナジーが生まれる条件、『視覚の怠け』を防ぐ早期統一、そして生成データ5%で強い画像生成を成立させるレシピまでを読み解く。

#multimodal #pretraining #vision-generation #transfusion #moe #scaling

対象imageタスクgeneration

Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes

一次資料 — この記事の根拠

論文の発表 2026-08-05→この解説の公開 2026-08-13同月

Towards Physics of Multimodal Pretraining: Knowledge FlowJunlin Han, Shengbang Tong, David Fan ほか · 2026-08-05 · v2"arXiv:2608.05000論文ページ·PDF

Modality SynergyModality Synergy

Early UnificationEarly Unification

https://arxiv.org/abs/2608.05000"and Recipes

原文の要旨（Abstract）を読む

Vision offers a critical axis for advancing foundation models, driving a shift towards natively unified multimodal pretraining. Despite this momentum, the design space and the fundamental mechanisms of how modalities interact during unified training remain underexplored. We provide empirical clarity through a systematic exploration of multimodal pretraining. Our controlled experiments on both synthetic and large-scale real-world datasets yield four key insights into the physics of multimodal pretraining: (i) Knowledge Flow: We disentangle how language, visual understanding, and visual generation transfer knowledge across modalities, revealing distinct patterns of influence and asymmetry; (ii) Synergy vs. Competition: We show that data "complexity" largely determines whether modalities are synergistic, identify architectural choices that promote synergy: such as shared attention and normalization with modality-specific feed-forward layers, and find that these behaviors generalize across different visual tokenizer designs; (iii) Early Unification: Unifying modalities from the very early stages and training them jointly is shown to be more effective than late alignment or sequential training. This process uncovers a vision laziness phenomenon, where delayed integration leads models to rely on language priors; (iv) Recipes: We derive efficient pretraining recipes that achieve strong generative performance using only 5% of the compute budget. These core findings are subsequently validated at scale by training multiple 13.5B MoE models on 2T tokens. We hope this study provides a principled foundation for understanding and scaling multimodal pretraining.

3つの科目を、1人の生徒に同時に教えたら

国語（言語）、美術鑑賞（画像の理解）、絵画制作（画像の生成）。この3科目を1人の生徒に同時に教えると、科目同士は助け合うのでしょうか、それとも頭の容量を奪い合うのでしょうか。国語が得意になると絵はうまくなるのか。絵を描かせると読解力は落ちるのか。

これはまさに、いま基盤モデルの世界で起きている問いです。テキストの読み書きに加えて、画像の理解と生成までを最初から1つのモデルで学ばせる「統一マルチモーダル事前学習」への移行が進んでいます。しかし、モダリティ同士がどう影響し合うかは経験則頼みでした。本論文（Meta FAIR・Reality Labs・Oxford の共同研究）は、この相互作用を物理学の実験のように統制された比較実験で解き明かし、「マルチモーダル事前学習の物理」と呼べる4つの法則と、実用レシピを導きます。論文では、その結論を13.5BパラメータのMoEモデルを2Tトークンで複数回訓練して大規模検証しています (§6.2)。

実験の土台: 文字と画像が同じTransformerに同居する (§2)

実験の主役は、Llama-3系のdecoder-only Transformer（1.5B、モダリティ別FFNを含め計2.3B）です。論文ではTransfusion方式を採用し、テキストは通常の次トークン予測、画像生成はフローマッチング（拡散モデルの親戚で、ノイズから画像へ向かう「流れ」を学ぶ手法）を、1つのモデルの中で同時に学習させます (§2.1)。

生成側の学習では、モデルはノイズ混じりの画像からきれいな画像 $x_0$ を直接予測し、それを速度に変換して使います (§2.1)。

v = \frac{x_0 - x_t}{1 - t}

(1)

言い換えると「いまのノイズ画像 $x_t$ から、予測したきれいな画像 $x_0$ へ、残り時間 $1-t$ で到達するための速度 $v$ 」です。 $t$ は0（ノイズ）から1（完成画像）へ進む時刻で、モデルは各時刻でこの「進むべき方向と速さ」を出力します。

重要なのは、文字トークンと画像トークンが同じ注意機構（Attention）の中で混ざり合うことです。Attentionの重みはクエリとキーの内積で決まるので、テキストと画像の表現ベクトルが「向きを揃える」ほど、モダリティの壁を越えて情報が流れます（クエリ・キー・内積という語がまだ手に馴染んでいなければ、Attention機構を1から理解するが下地になります）。この内積の感覚が、後半のシナジーの議論の土台になります。

FIG 12本のベクトルの角度と内積の関係。Attentionではクエリとキーの内積が大きいほど情報が流れる。テキストと画像の表現が「向きを揃える」ことが、モダリティ間で知識が流れる物理的な通り道になる

発見1: 知識は一方通行に近い形で流れる (§3.1)

論文はまず、実データ（言語=DCLM、画像=約3.5億件の画像テキストペア）で「あるモダリティのデータを増やすと、他のモダリティの成績はどうなるか」を系統的に測ります。データ配分だけを動かし、他の条件を固定する統制実験です。結果は明快な非対称性を示しました。

言語は万能ブースター (§3.1.1): 視覚データ量を固定して言語データの比率を0%→80%へ増やすと、視覚理解の全評価軸（一般・知識・OCR/チャート・視覚中心）が単調に向上し、画像生成も、テキスト条件付き・無条件の両方で拡散損失が下がりました。言語だけ学んでも「見る力」と「描く力」の両方が底上げされるのです。
理解は生成の強い先生 (§3.1.2): 画像→テキストの理解データを増やすと、画像生成の評価指標が大きく改善し拡散損失も明確に下がります。一方、純粋な言語性能はわずかに劣化しますが、論文はこれを視覚言語データのテキスト分布が純言語データと異なることによるものと分析しています。
生成はほぼ中立 (§3.1.3): 逆に生成データを増やしても、言語と理解の成績は小さく揺らぐだけで、明確な向上も深刻な劣化もありません。フローマッチングの学習目標は次トークン予測と衝突はしないが、逆方向の知識移転は限定的、というのが論文の結論です。

つまり「言語 → 理解 → 生成」という下流方向には知識が流れやすく、逆流はほとんどない。この川の流れのような構図が、論文全体を貫く軸になります。

発見2: 転移するかどうかは「概念の種類」で決まる (§3.2)

実データは要因が絡み合うため、論文はCLEVR（プログラムで生成する積み木シーンのデータセット）を拡張した合成環境で、特定の概念だけを片方のモダリティの訓練データから外す外科手術のような実験を行います。例えば「黄色」を生成データからだけ削除し、理解データには残す。その上で「黄色い物体を描いて」と頼めるかを試すのです (§3.2.1)。

結果は概念の階層で綺麗に割れました (§3.2.2)。

色や形などの低レベル属性は、どちらの方向にもゼロショット転移しない。生成側から削れば生成できず、理解側から削れば質問に答えられない。基礎的な視覚語彙は、各タスクの中で明示的に学ぶ必要があります。
空間関係・サイズ・個数などの構造的概念は、理解→生成にだけ転移する。理解側で学んだ「前後左右」の知識は、見たことのない配置の生成をゼロショットで助けます。逆方向はほぼ失敗し、唯一「個数」だけがわずかに逆流しました。

さらに面白いのは追試です (§3.2.3)。ゼロショットでは転移しなかった色や形も、後から該当データを与えて微調整すると、生成で学んだ経験が理解の習得を大きく加速しました（平均精度の差 +0.133〜+0.273）。生成の学習はピクセルレベルの緻密な表現を作っており、それは表からは見えない「潜在的な下地」として残っている。一方、理解で学んだ抽象的な特徴は、生成の下地にはほとんどなりません。論文はこれを「生成の恩恵が空間・幾何タスクでだけ観測される」という先行研究間の食い違いを説明する仕組みとして位置づけています。

発見3: シナジーか競合かは、データの複雑さが決める (§4.1)

次の問いは「モダリティ同士はいつ助け合い、いつ容量を奪い合うのか」。論文は片方のモダリティのデータ複雑度だけを段階的に変える実験で、意外な答えを出します。

単純な課題は相手を強くする。言語と一緒に学ぶ視覚データを単色背景のような極端に単純な画像にすると、言語だけを学んだモデルよりもパープレキシティが改善しました（Δppl −0.211）。逆も同様で、極端に単純化した言語と一緒に学ぶと画像生成の損失が最も下がります。ところが視覚データを動画や実写真のような複雑な分布に上げていくと、シナジーは競合に転じ、言語性能は劣化します（実写真でΔppl +0.075）。シナジーと容量競合は常に共存しており、課題が重くなるほど競合が勝つ——これが論文の描く力学です。

どこを共有し、どこを分けるか (§4.2–4.3)

ではネットワークのどこでシナジーが生まれ、どこで競合が起きるのか。論文はTransformerブロックをFFN・Attention・正規化層の3グループに分解し、共有/分離の組合せを総当たりで比較します (§4.2)。

全共有（dense）は最悪: 両モダリティが同じ重みを取り合い、言語も視覚も単独訓練より劣化（ppl +0.272、拡散損失 +0.0537）。
FFNだけ分離（split_ffn）が最良: 競合が解消され、かつ共有Attentionを通じたシナジーで両モダリティが単独訓練を上回ります（ppl −0.211、視覚損失 −0.0168）。
Attentionや正規化まで分けるとシナジーが消える: 全分離では単独訓練とほぼ同じ、つまり統一した意味がなくなります。

論文の解釈はこうです。共有Attentionと共有Normはモダリティを橋渡しする「シナジーの通り道」、分離FFNは各モダリティ専用の「競合の逃がし先」。これはモダリティ別FFNを持つMixture-of-Transformers/MoE系設計への強い実証的支持になっています。しかもこの性質は、視覚トークナイザを4種類（意味的な潜在空間を使うRAE、生ピクセル、CLIP+VAE、離散コードの自己回帰型）に変えても一貫して現れました (§4.3)。シナジーは特定の視覚表現ではなく、学習目標とパラメータ共有の設計から生まれるのです。

発見4: 遅く合流させると「視覚が怠ける」 (§5)

言語が万能ブースターなら「まず言語だけ鍛えて、後から視覚を足せばよい」と思いたくなります。実務でも主流だったこのlate-alignment路線を、論文は正面から否定します。

総予算1Tトークンを固定し、視覚を導入するタイミングだけを0〜800Bトークンの範囲で変えると、言語性能の伸びは600B以降頭打ちになる一方、視覚理解と生成のほぼ全指標は、導入が遅いほど一貫して悪化しました (§5.1)。また、言語→理解→生成のような逐次カリキュラム6通りをすべて試しても、リプレイ（既習データの12.5%混入）で忘却を緩和しても、同時並行の joint 訓練に勝てる順序は1つもありませんでした (§5.2)。

なぜか。論文は同じ条件で言語の「助走」だけを変えた5つのモデルを解剖し、vision laziness（視覚の怠け）という現象を突き止めます (§5.3)。言語助走が長いほど、(A) 視覚専用FFNの訓練時活性が層をまたいで静かになり、(B) 画像を囲む特殊トークンの埋め込みが言語空間の隅に押しやられ、(C) 推論時の視覚FFN出力が激減し、(D) 画像トークンへ向けられる注意の割合そのものが下がる。つまり、固まった言語能力で問題を「言語的にショートカット」できてしまうため、モデルは視覚経路をまじめに最適化しなくなるのです。強力なマルチモーダルLLMが時々初歩的な見落としをする一因も、ここにあるかもしれないと論文は述べています。

FIG 22変数の損失地形を降りていく最適化の経路。出発点が違えば辿り着く谷も違う。言語方向だけ先に深く降りてから視覚方向を足すと、経路は言語の谷に囚われがちになる——vision laziness の直感的なイメージ

レシピ: 70/25/5 という配合 (§6)

以上の法則を束ねると、実用的な配合が導けます。知識が「言語→理解→生成」へ流れ、逆流しないなら、予算の大半を言語と理解に注ぎ、生成はごく少量でよいはずです。1Tトークン規模のグリッドサーチの結果、最適点は言語70% / 理解25% / 生成5%でした (§6.1)。生成データをわずか5%まで削っても生成品質はほぼ落ちず、むしろ理解の平均スコアは最高値に達します。

この配合＋FFN分離型MoE＋早期統一のフルレシピを、13.5B MoE（アクティブ1.5B、256エキスパートのうち言語専用と視覚専用を各1固定）・2Tトークンで、1変数ずつ変えた対照群と比較検証したのが締めくくりです (§6.2)。非対称配合はバランス配合（50/25/25）に対し、言語精度54.31% vs 52.86%、視覚理解平均43.08% vs 41.42%、GenEval 0.482 vs 0.467と、生成トークンを1/5に減らしながら全面的に上回りました（画像品質のFIDも5.234 vs 5.131とほぼ同等）。MoE vs 密モデル、早期統一 vs 遅延統合の比較でも、小規模実験の結論がそのまま大規模で再現されています。

論文の限界 (Appendix A)

論文自身が認める限界も押さえておきましょう。第一に、実験はテキストと静止画に限られ、動画や音声など時間軸を持つモダリティで同じ法則が成り立つかは未検証です。第二に、検証は13.5B・2Tトークンまでで、1Tパラメータ級のフロンティア規模では、シナジーと競合の境界が動いたり、現状ほぼ皆無の「生成→理解」の逆流が創発する可能性を論文も否定していません。また、生成比率5%はあくまでこの設定での最適点で、論文自身も後期に生成比率を上げる余地には触れています (§6.2)。数値はこの論文の実験系（Transfusion方式・SSTKデータ等）に紐づくものとして読むべきです。

現場ではこう使う

この論文が最も刺さるのは、マルチモーダル基盤モデルの事前学習を設計するMLエンジニア・研究者です。触るのはデータローダーのモダリティ混合比（本論文ならL/U/G比。バランス配合は生成トークンの浪費になりがち）、損失の重み（論文は拡散損失を文字損失の3倍に設定 (§2.1)）、そしてアーキテクチャのパラメータ共有設計（Attention/Normは共有、FFNはモダリティ別かMoEのエキスパート固定で分離）です。

規模が小さくても応用は利きます。既存LLMに視覚を後付けする立場（LLaVA系の微調整など）なら、この論文の「vision laziness」はそのまま診断項目になります。視覚側モジュールの活性ノルムや画像トークンへの注意割合をログに出し、値が沈んでいれば、モデルが言語プライアで問題を「言語的にショートカット」している兆候です。評価はGenEval・DPG-BenchやCLIP類似度など、本論文と同じ公開ベンチマークで再現できます。

落とし穴は2つ。(1) 生成データを増やせば理解も良くなる、という期待は逆流しない知識の流れに反する（改善したいのが空間・幾何系タスクなら例外的に効きうる、が§3.2.3の示唆）。(2) 「言語モデルが強いほど良いマルチモーダルの土台になる」とは限らない。助走が長いほど視覚経路は怠けるので、途中チェックポイントからの統合や早期統一の検討が要ります。面接で「理解と生成は互いに助け合うか?」と聞かれたら、「概念の階層と方向に依存する非対称な転移で、構造的概念は理解→生成にのみ流れる」と答えられれば、この論文を読んだ甲斐があります。

まとめ

知識は「言語→理解→生成」へ非対称に流れ、逆流はほぼない (§3)
シナジーはデータが単純なほど強く、複雑になると容量競合が勝つ。Attention/Norm共有＋FFN分離が最良の設計 (§4)
視覚の導入が遅いほど「視覚が怠け」、joint訓練に勝る逐次順序は存在しない (§5)
配合L70/U25/G5＋MoE＋早期統一のレシピは13.5B・2Tトークンでも有効 (§6)

拡散・フローマッチングの基礎は拡散モデルを1から理解する、FFN分離の発展形であるエキスパート分割はMixture of Experts (MoE) を1から解説、画像とテキストの表現を揃える発想はCLIP解説で掘り下げています。