論文解説: AURORA-LM — テキストを連続潜在空間で生成する拡散言語モデル、「圧縮せずに学び切る」という選択
テキストを離散トークンではなく連続潜在空間で生成する拡散言語モデルAURORA-LMを論文本文から解説。潜在を圧縮して拡散を楽にする従来路線を捨て、幅1024の復元可能な潜在をそのまま、低ランク入力・高ノイズ校正・自己軌道一貫性で学び切る設計を追う。
AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling
一次資料 — この記事の根拠
論文の発表 2026-08-03→この解説の公開 2026-08-13同月
AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language ModelingJiajun Liang, Yucheng Liao, Yukang Cao ほか · 2026-08-03 · v1arXiv:2608.02602論文ページ·PDF原文の要旨（Abstract）を読む
Language remains an outlier in generative modeling: while images, video, and audio are increasingly modeled in continuous latent spaces, text generation still relies predominantly on discrete tokens. Existing continuous language models either inherit embedding spaces not designed for joint generation and decoding, or compress autoencoded latents to ease diffusion, sacrificing token-level fidelity. Instead of simplifying the representation to suit the generative model, we preserve a high-capacity, decodable text latent and design the diffusion model to learn its distribution directly. We introduce AURORA-LM, a continuous-latent diffusion language model that separates the construction of a decodable text representation from the modeling of its distribution. A Query-based Encoder-Decoder organizes text into a high-capacity, prefix-aligned latent sequence, and a Block-causal Diffusion Transformer learns its distribution through flow matching, generating blocks left to right while denoising positions within each block in parallel. Because such a latent is harder for diffusion to model, AURORA-LM restricts only the noisy-input pathway while retaining the full clean-latent prediction target, accommodating full-width latents without reducing decoder-facing capacity. We further calibrate the noise-level distribution to the latent width, and introduce self-trajectory consistency to bridge independently sampled training noise and iterative denoising at inference. AURORA-LM achieves the strongest performance among evaluated continuous and diffusion-based language models on OpenWebText free generation and XSum summarization. Scaling to 1B parameters with about 1500 EFLOPs of total compute yields further gains, surpassing a larger publicly released latent-diffusion language model under a matched evaluation protocol. All experiments are conducted on Ascend NPUs.
テキストだけが「離散」に取り残されている
画像も動画も音声も、いまの生成AIは連続的な潜在空間の中で拡散モデルが作るのが主流です。ところがテキストだけは、いまだに語彙表から1トークンずつ選ぶ離散生成が支配的です（§1）。マルチモーダルモデルでも、画像や音声を離散トークン列に変換して言語モデルの土俵に持ち込むのが普通で、論文はその逆を問います——言語のほうを連続空間で表現して生成できないか？（§1）
引っ越しに例えてみます。文章をいったん連続ベクトルの「荷物」に詰め（エンコード）、生成モデルという運送屋がその荷物を一から作れるように学び、届いた荷物を開けて文章に戻す（デコード）。これが連続潜在方式の言語生成です。問題は荷造りにあります。箱を小さく軽くすれば運送屋は楽ですが、開けてみると食器が欠けている——つまり元の単語が正確に戻らないのです。
AURORA-LM（南京大学・南洋理工大学・インペリアルカレッジの共同研究、arXiv:2608.02602）の答えは明快です。箱は大きいまま、運送屋を鍛える。
先行研究のジレンマ: 圧縮すれば運べるが、開けると壊れている
論文は既存の連続言語生成を2つの路線に整理します（§1, §2.3）。
1つ目は埋め込み空間系。Diffusion-LMやPLAIDは単語埋め込みの列を、TEncDMは事前学習エンコーダの特徴をそのままノイズ除去の対象にします。既にある表現を借りるので手軽ですが、その幅や並び方は「生成しやすさ」と「復元しやすさ」の両立を狙って設計されたものではありません（§1）。
2つ目はオートエンコーダ系。LD4LG・COSMOS・Cola-DLMはテキストを専用の潜在空間に写してから拡散モデルを学びます。潜在を圧縮・平滑化できるので拡散側は楽になりますが、その同じ潜在にデコーダも依存しているため、圧縮は正確な単語・語順の復元に必要な情報まで削ります。生成のしやすさと復元の忠実さが、1つの表現ボトルネックで綱引きになっている——これが論文の現状診断です（§1）。
この「非可逆圧縮で細部が消える」感覚は、JPEGで体感できます。圧縮率を上げるほど運びは軽くなりますが、細部は戻ってきません。テキスト潜在で同じことをすると、消えるのは「正確なその単語」です。
AURORA-LMの答え: 表現づくりと分布学習を完全に分ける
AURORA-LMは仕事を2段階に切り離します（§3）。
第1段階では、Query-based Encoder-Decoder（クエリ型エンコーダ・デコーダ）がテキストを高容量の潜在列に写し、そこから元のトークンを復元できることだけを目標に学習します。生成のしやすさへの妥協はしません。
第2段階では、このオートエンコーダを凍結し、その出力分布をBlock-causal Diffusion Transformer（ブロック因果な拡散Transformer）がflow matchingで学びます。ブロックを左から右へ順に生成し、ブロック内の位置は並列にノイズ除去する構成です。表現側を固定してから生成側を設計するので、「拡散が難しいから表現を削る」という逆流が起きません（§2.3, §3）。
部品1: 前から読める潜在列を作るオートエンコーダ
エンコーダは、長さ のトークン列を 個・幅 の潜在ベクトル列に変換します。 は保持率で、 なら圧縮なしです（§3.2）。仕掛けはクエリの見える範囲にあります。 番目の潜在クエリは、先行する潜在と先頭から 番目までのトークンしか見られません。つまり潜在列の前置き（プレフィックス）が、そのままテキストの前置きに対応します。デコーダ側も対称で、 番目のトークンを復元するとき対応する潜在前置きまでしか参照できません。この対応関係が、後段の「左から右へのブロック生成」を支えます（§3.2）。
コメント
コメントにはログインが必要です