論文解説: SenseNova-U1.5 — エンコーダもVAEも使わず、1つのモデルで「見る」と「描く」を両立する

画像理解用のエンコーダも生成用のVAEも持たず、ピクセルと言葉から直接学ぶ8Bの統合モデル SenseNova-U1.5。パッチの継ぎ目を消す空間デコーダと、「専門家を別々に鍛えてから1つに蒸留する」後学習を、論文本文に沿って1から解説する。

SenseNova-U1.5: Towards Native Unified Visual Intelligence

「見る係」と「描く係」を1人にまとめる

原題は "SenseNova-U1.5: Towards Native Unified Visual Intelligence"（arXiv:2609.11929、2026年9月10日公開）。

要旨はこうです。SenseNova-U1.5 は、視覚内容を理解し、推論し、生成する 8B-MoT（Mixture-of-Transformers）のネイティブ統合マルチモーダルモデルで、エンコーダもVAEも使わない構造で作られている。視覚の入出力部分を「空間的に一貫したパッチ再構成」で強化し、厳選した生成・編集データ、課題の定式化の改善、構造化したプロンプト強化、最大4Kのネイティブ解像度で学習を拡大した。後学習では、美観・中英2言語の文字描画・インフォグラフィック生成・画像編集のそれぞれに特化した専門家を最適化し、その能力を「複数専門家のオンポリシー蒸留」で1つにまとめた。評価では画像の忠実度、文字描画、複雑な構図、複数参照の編集、画像と文章を交互に出す生成が大きく向上し、指示追従と、人物の同一性・形状・未編集領域の保持も改善したという。生成データに構造化フォーマットがあまり含まれていないにもかかわらず、長く複雑で構造化された視覚指示に汎化した点を、著者らは「理解が視覚的な計画と創作に転移しうる」証拠と位置づけている。学習コード（SFT・強化学習・オンポリシー蒸留）は公開予定とされている。

いまの画像AIの多くは、社内に2人の翻訳者を抱えています。1人は画像を「意味」に訳す係（視覚エンコーダ）、もう1人は「意味」を画像に戻す係（VAE）です。2人は別々の辞書を使っているので、理解したことを描くたびに辞書の引き直しが起きます。論文の問題意識はここにあります（§1）。理解は意味の抽象化に、生成はピクセルの忠実さに最適化された、別々の表現空間で動いているのです。

SenseNova-U1.5 は翻訳者を置かず、ピクセルと単語を直接読み書きする1人の担当者にしようとする系譜の最新版です。前作 SenseNova-U1 がこの方式の実現可能性を示し、U1.5 はその弱点を2つ直しました。1つは「パッチの継ぎ目」、もう1つは「いろいろな能力を1つの方針で同時に鍛えると互いに邪魔し合う」問題です。

直感: 32×32の区画を1つの単語として扱う

U1.5 は画像を $32\times 32$ ピクセルの区画に分け、1区画を1トークン（モデルにとっての1単語）にします（§3.1）。2段の畳み込みで16分の1、さらに2分の1に縮めることで、この圧縮を実現しています。1024×1024の画像なら32×32＝1024トークンです。エンコーダを通さないので、画像の情報をほぼ失わずに短い列にできる、というのが著者らの主張です。

問題は出口でした。前作は各トークンを小さなMLPで独立に32×32のRGBパッチへ戻していました。隣のパッチが何色になるかを知らずに自分の色を決めるので、境界で色や模様がずれます。論文はこれを、高解像度ほど目立つ継ぎ目・格子状のアーティファクト・テクスチャの不連続として説明しています（§1, §3.1）。

これは JPEG のブロックノイズと同じ構造の問題です。JPEG も画像を8×8のブロックに分けて独立に処理するため、強く圧縮するとブロックの境目が見えてきます。下の図で品質を下げていくと、その様子が確かめられます。

U1.5 の解決策は、トークンをいったん2次元の地図に並べ直し、隣同士で情報を交換させてからピクセルを確定させることです。

仕組み1: 継ぎ目を消す空間デコーダ

背骨（Transformer）の出力 $\mathbf{H}\in\mathbb{R}^{B\times hw\times d}$ を、縦 $h$・横 $w$ の2次元配置 $\mathbf{H}_{\mathrm{2D}}\in\mathbb{R}^{B\times d\times h\times w}$ に戻します（§3.1）。ここで $B$ はバッチ数、$d$ は各トークンのベクトルの長さです。平たく言うと「1列に並んだ単語を、元の画像の位置に並べ直す」操作です。