2026-09-03·★ 会員·論文·18分で読めます

論文解説: Qwen3.8-Next の設計 — 精度・効率・学習安定性を1つの問題として解く

Qwen3.8-Flash-Next の設計報告を1から読み解く。GDNハイブリッド、QSA、Gated Residual、N-gram埋め込みの4部品を、論文が使った「損失・コスト・安定性」の3軸で追う。

#transformer #moe #sparse-attention #linear-attention #training-stability #qwen

On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability

一次資料 — この記事の根拠

論文の発表 2026-08-31→この解説の公開 2026-09-03同月

On the Design of Qwen3.8-Next Architecture: EvaluationZihan Qiu, Zekun Wang, Xiao Li ほか · 2026-08-31 · v1"arXiv:2608.30320論文ページ·PDF

EfficiencyEfficiency

https://arxiv.org/abs/2608.30320"and Training Stability

原文の要旨（Abstract）を読む

We describe the architecture and ablations of Qwen3.8-Flash-Next, a sparse mixture-of-experts model with 125B parameters, 6B activated per token, and additional 51B parameters of n-gram embedding tables held off the accelerator. On fourteen pre-training benchmarks the model leads the 397B-A17B predecessor on eight and trails it on the rest by at most 2.6 points, at 1/3 the activated parameters, 1/3 the training tokens, and roughly 1/9 the training FLOPs. Token mixing uses a layer-wise hybrid of Gated DeltaNet (GDN) and global attention, with one full-attention layer in every four; at continued-pretraining time those full-attention layers are replaced by Qwen Sparse Attention (QSA), which scores context at micro-block granularity with a compressed lightweight indexer. The residual stream is widened to four branches and read through an elementwise gate, a design we call the Gated Residual (GR). Capacity is added outside the backbone by a single n-gram embedding layer whose tables are prefetched from host memory. We evaluate every candidate change along three axes: loss together with downstream benchmarks; the cost of the change in training, prefill and decode; and its effect on the optimal hyperparameters and training stability. Loss and downstream accuracy do not always move together: enlarging the n-gram vocabulary lowers loss monotonically while downstream accuracy saturates. The architecture and the Muon optimizer together shift the optimal learning rate and batch size upwards, render batch-size warmup unnecessary, and substantially improve stability under stress tests. Loss, benchmarks, efficiency and stability form one design problem. Solved jointly, they yield a recipe that is simultaneously more efficient, more capable and more stable.

この論文が報告していること

原題は "On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability"（Qwen Team、arXiv:2608.30320、2026年8月31日）。中身は新モデルの性能自慢ではなく、どの設計変更を採用し、どれを捨てたか、その判断をどう下したかの記録です。

要旨はこうです。対象は Qwen3.8-Flash-Next、総パラメータ125B・トークンあたり6Bだけを動かす疎なMoEで、さらにアクセラレータの外に51Bぶんの n-gram 埋め込みテーブルを持ちます。事前学習14ベンチのうち8つで前世代の 397B-A17B を上回り、残りも最大2.6ポイント差にとどまる一方、活性パラメータも学習トークンも約1/3、学習FLOPsはおよそ1/9。トークン混合は Gated DeltaNet（GDN）と全アテンションの層単位ハイブリッドで、4層に1層が全アテンション。継続事前学習の段階でその全アテンション層は Qwen Sparse Attention（QSA）に置き換わります。残差ストリームは4本に広げ、要素ごとのゲートを通して読みます（Gated Residual、GR）。容量はさらに、ホストメモリからプリフェッチされる n-gram 埋め込み層1枚で外側に足されます。そして著者らは、あらゆる変更候補を「損失と下流ベンチマーク」「学習・prefill・decode のコスト」「最適ハイパーパラメータと学習安定性」の3軸で評価した、と述べています。

「損失が下がった」だけでは決められない

ふつう設計変更の良し悪しは学習損失で判定します。1つの数字で、毎ステップ取れて、比較が楽だからです。ところが論文は、損失と下流精度が同じ方向に動かない場面を両方向で観測したと明言します（§1）。n-gram 語彙を大きくすると損失は単調に下がるのに下流精度は頭打ちになり、逆に残差の読み書きをデータ依存にすると損失はほとんど動かないのにベンチははっきり上がる。さらに厄介なのが、事前学習では差が出ず後段で初めて壊れる変更です。残差の枝を上位2本に絞る案は事前学習損失ではほぼ無害でしたが、その後の学習で劣化しました。全アテンション層から位置符号を外す案（NoPE）も、事前学習中は見分けがつかないのに後段の生成品質に響きます（§2.1.1）。つまり著者らの主張は、評価・効率・安定性は別々の問題ではなく1つの設計問題だ、ということです。

部品①: GDNハイブリッド — 4層に1層だけ全アテンションを残す

全アテンションは直前までの全トークンに直接アクセスできますが、計算量は系列長の2乗で伸び、KVキャッシュは系列長に比例して膨らみます。逆にスライディングウィンドウ注意（SWA）は窓の外を直接見られず、窓外の情報は層を重ねて間接的に伝わるしかありません（§2.1.1）。

論文の答えは折衷です。3層は GDN、1層は全アテンションを繰り返す。GDN は過去を固定サイズの行列状態に圧縮するのでコストが線形に収まり、4層に1層だけ残した全アテンションが「有限状態メモリには正確に再現できない、トークン単位の直接引き当て」を担当します。

FIG 1系列長が伸びると、2乗と線形の差は「少し遅い」ではなく桁の差になる。ハイブリッドはこの差を層の割合で買う

同一条件のアブレーション（28層 25B-A3B MoE、4Kで400Bトークン→32Kで80Bトークン、SWAの窓は128）では、9ベンチ平均が全アテンション 49.87、SWAハイブリッド 51.15、GDNハイブリッド 53.81。GDNハイブリッドは全アテンション比で9本中8本、SWA比で7本を上回りました（Tab.1）。ただし論文自身、この比較は「どの構成要素が効いたか」を切り分けていないと注記しています。

GDNの中身: 足すのではなく、消してから書く

GDN は線形注意の一種で、各ヘッドが行列状態 $\bm{S}_t$ に「キー→バリュー」の対応を貯めます。更新則（gated delta rule）はこうです。

\bm{S}_{t}=\alpha_{t}\left(\bm{I}-\beta_{t}\bm{k}_{t}\bm{k}_{t}^{\top}\right)\bm{S}_{t-1}+\beta_{t}\bm{k}_{t}\bm{v}_{t}^{\top}

(1)

$\bm{S}_{t-1}$ が直前までの記憶、 $\bm{k}_t$ が今のトークンの「見出し語」、 $\bm{v}_t$ が「中身」。 $\alpha_t \in (0,1)$ は減衰ゲートで記憶全体をどれだけ残すかを決め、 $\beta_t \in (0,1)$ は書き込みの強さです。

平たく言えば、「 $\bm{k}_t$ という見出しに今すでに何が書いてあるか」を読み、その差分だけを上書きする動作です。 $\left(\bm{I}-\beta_t\bm{k}_t\bm{k}_t^{\top}\right)$ が「古いメモを剥がす」役、右の項が「新しいメモを貼る」役。素の線形注意のように毎回足し込むだけだと、同じ見出しが出るたび外積が積み上がって記憶が飽和します。消してから書くのはそれを避けるためです。

# 1トークンぶんの gated delta 更新（概念コード）
e = v - S.T @ k                  # この見出しに今書いてある値との差
S = a * S + b * np.outer(k, e)   # 減衰させてから、差分だけ書き込む
y = S.T @ q                      # 質問で読み出す

なお全アテンション層には RoPE を残しています。NoPE 版は事前学習中はほぼ差が出ないのに、事後学習後に生成が終わらない率が明確に高くなったためです。カーネル面では、TileLang ベースの FlashQLA が Triton 実装比で forward 2〜3倍、backward 約2倍と報告されています。

部品②: QSA — 「どこを見るか」を決める係のコストを下げる

疎アテンションは重要な文脈だけを選んで計算量を落とします。ただし選ぶ係（indexer）自体が $O(n^2)$ だと、系列が伸びるほどその係のコストが無視できなくなります（§2.1.2）。QSA の工夫は、スコアリングの前にキー列を圧縮することです。キーを $r$ トークンごとのブロックに切って平均プーリングし、ブロック単位で重要度を出してから、選ばれたブロックだけを元のトークン列に展開する。これで indexer の計算量は $O(n^2)$ から $O(n^2/r)$ に落ちます。圧縮は位置符号の前に行い、ブロックには先頭位置を1つ割り当てます。位相の違う回転を平均しないための順序です。設定は indexer が MQA でクエリヘッド4・共有キーヘッド1、部分RoPE（128次元中64）、トークン予算 $K=2048$ 、圧縮率 $r=4$ 。学習は2段階で、まず1,000ステップ indexer だけを本体アテンション分布から蒸留し、次に8,000ステップ・約200Bトークンでバックボーンごと疎パターンに適応させます。

結果は、短文脈8ベンチのうち7本で全アテンション以上、平均 75.9 → 76.8（Tab.2）。長文脈では RULER の 512K–1M 帯が 90.08 → 93.00、8針 MRCR が 512K で 30.66 → 40.53、1M で 20.71 → 26.44（Tab.3）。カーネルレベルでは1M文脈で prefill 7.6倍・decode 4.9倍。層をまたいでインデックスを共有する IndexShare が相対レイテンシ 0.5 でもベースライン未満なのに対し、QSA は 0.25 で全アテンション同等でした。ハイブリッドでは層間の類似度が低く、層内圧縮のほうが向いているという説明です。

論文解説: Qwen3.8-Next の設計 — 精度・効率・学習安定性を1つの問題として解く

この論文が報告していること

「損失が下がった」だけでは決められない

部品①: GDNハイブリッド — 4層に1層だけ全アテンションを残す

GDNの中身: 足すのではなく、消してから書く

部品②: QSA — 「どこを見るか」を決める係のコストを下げる

ここから先は会員限定です

参考文献

コメント