論文解説: マルチモーダル事前学習の『物理法則』— 知識はどのモダリティからどこへ流れるのか
テキストと画像を最初から1つのモデルで学ばせると何が起きるのか。Meta FAIRらの大規模な統制実験から、知識の非対称な流れ、シナジーが生まれる条件、『視覚の怠け』を防ぐ早期統一、そして生成データ5%で強い画像生成を成立させるレシピまでを読み解く。
Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes
一次資料 — この記事の根拠
論文の発表 2026-08-05→この解説の公開 2026-08-13同月
Towards Physics of Multimodal Pretraining: Knowledge FlowJunlin Han, Shengbang Tong, David Fan ほか · 2026-08-05 · v2"arXiv:2608.05000論文ページ·PDFModality SynergyModality Synergy
Early UnificationEarly Unification
https://arxiv.org/abs/2608.05000"and Recipes
原文の要旨（Abstract）を読む
Vision offers a critical axis for advancing foundation models, driving a shift towards natively unified multimodal pretraining. Despite this momentum, the design space and the fundamental mechanisms of how modalities interact during unified training remain underexplored. We provide empirical clarity through a systematic exploration of multimodal pretraining. Our controlled experiments on both synthetic and large-scale real-world datasets yield four key insights into the physics of multimodal pretraining: (i) Knowledge Flow: We disentangle how language, visual understanding, and visual generation transfer knowledge across modalities, revealing distinct patterns of influence and asymmetry; (ii) Synergy vs. Competition: We show that data "complexity" largely determines whether modalities are synergistic, identify architectural choices that promote synergy: such as shared attention and normalization with modality-specific feed-forward layers, and find that these behaviors generalize across different visual tokenizer designs; (iii) Early Unification: Unifying modalities from the very early stages and training them jointly is shown to be more effective than late alignment or sequential training. This process uncovers a vision laziness phenomenon, where delayed integration leads models to rely on language priors; (iv) Recipes: We derive efficient pretraining recipes that achieve strong generative performance using only 5% of the compute budget. These core findings are subsequently validated at scale by training multiple 13.5B MoE models on 2T tokens. We hope this study provides a principled foundation for understanding and scaling multimodal pretraining.
3つの科目を、1人の生徒に同時に教えたら
国語（言語）、美術鑑賞（画像の理解）、絵画制作（画像の生成）。この3科目を1人の生徒に同時に教えると、科目同士は助け合うのでしょうか、それとも頭の容量を奪い合うのでしょうか。国語が得意になると絵はうまくなるのか。絵を描かせると読解力は落ちるのか。
これはまさに、いま基盤モデルの世界で起きている問いです。テキストの読み書きに加えて、画像の理解と生成までを最初から1つのモデルで学ばせる「統一マルチモーダル事前学習」への移行が進んでいます。しかし、モダリティ同士がどう影響し合うかは経験則頼みでした。本論文（Meta FAIR・Reality Labs・Oxford の共同研究）は、この相互作用を物理学の実験のように統制された比較実験で解き明かし、「マルチモーダル事前学習の物理」と呼べる4つの法則と、実用レシピを導きます。論文では、その結論を13.5BパラメータのMoEモデルを2Tトークンで複数回訓練して大規模検証しています (§6.2)。
実験の土台: 文字と画像が同じTransformerに同居する (§2)
実験の主役は、Llama-3系のdecoder-only Transformer（1.5B、モダリティ別FFNを含め計2.3B）です。論文ではTransfusion方式を採用し、テキストは通常の次トークン予測、画像生成はフローマッチング（拡散モデルの親戚で、ノイズから画像へ向かう「流れ」を学ぶ手法）を、1つのモデルの中で同時に学習させます (§2.1)。
生成側の学習では、モデルはノイズ混じりの画像からきれいな画像 を直接予測し、それを速度に変換して使います (§2.1)。
言い換えると「いまのノイズ画像 から、予測したきれいな画像 へ、残り時間 で到達するための速度 」です。 は0（ノイズ）から1（完成画像）へ進む時刻で、モデルは各時刻でこの「進むべき方向と速さ」を出力します。
重要なのは、文字トークンと画像トークンが同じ注意機構（Attention）の中で混ざり合うことです。Attentionの重みはクエリとキーの内積で決まるので、テキストと画像の表現ベクトルが「向きを揃える」ほど、モダリティの壁を越えて情報が流れます（クエリ・キー・内積という語がまだ手に馴染んでいなければ、Attention機構を1から理解するが下地になります）。この内積の感覚が、後半のシナジーの議論の土台になります。
発見1: 知識は一方通行に近い形で流れる (§3.1)
論文はまず、実データ（言語=DCLM、画像=約3.5億件の画像テキストペア）で「あるモダリティのデータを増やすと、他のモダリティの成績はどうなるか」を系統的に測ります。データ配分だけを動かし、他の条件を固定する統制実験です。結果は明快な非対称性を示しました。
- 言語は万能ブースター (§3.1.1): 視覚データ量を固定して言語データの比率を0%→80%へ増やすと、視覚理解の全評価軸（一般・知識・OCR/チャート・視覚中心）が単調に向上し、画像生成も、テキスト条件付き・無条件の両方で拡散損失が下がりました。言語だけ学んでも「見る力」と「描く力」の両方が底上げされるのです。
- 理解は生成の強い先生 (§3.1.2): 画像→テキストの理解データを増やすと、画像生成の評価指標が大きく改善し拡散損失も明確に下がります。一方、純粋な言語性能はわずかに劣化しますが、論文はこれを視覚言語データのテキスト分布が純言語データと異なることによるものと分析しています。
- 生成はほぼ中立 (§3.1.3): 逆に生成データを増やしても、言語と理解の成績は小さく揺らぐだけで、明確な向上も深刻な劣化もありません。フローマッチングの学習目標は次トークン予測と衝突はしないが、逆方向の知識移転は限定的、というのが論文の結論です。
つまり「言語 → 理解 → 生成」という下流方向には知識が流れやすく、逆流はほとんどない。この川の流れのような構図が、論文全体を貫く軸になります。
発見2: 転移するかどうかは「概念の種類」で決まる (§3.2)
実データは要因が絡み合うため、論文はCLEVR（プログラムで生成する積み木シーンのデータセット）を拡張した合成環境で、特定の概念だけを片方のモダリティの訓練データから外す外科手術のような実験を行います。例えば「黄色」を生成データからだけ削除し、理解データには残す。その上で「黄色い物体を描いて」と頼めるかを試すのです (§3.2.1)。
コメント
コメントにはログインが必要です