論文解説: AuK — 音声の「作る」と「直す」を1つのモデルに統一する
音声の生成・編集・強調・分離を「自然言語の指示＋音声」という1つの入口に統一したオープンソース基盤モデルAuKを、データ設計・MMDiT骨格・rectified flow・人間選好とGRPO・4ステップ蒸留まで前提知識ゼロから解説する。
要点
- AuKは、自然言語の指示と（あれば）音声の文脈を共通の入口に、音声の生成と編集を統一したオープンソースの基盤モデルである。
- データは音声生成・内容編集・強調と分離・パラ言語編集・音響編集の5系統で、約30.3億件の指示-音声ペアと195万時間分の有効な教師信号を構築した。
- 構成は、意味の条件づけを担うMLLM、音声・一般音響・音楽で合同学習したVAE、dual-stream後にsingle-streamを重ねたrectified-flow Transformerの3つ。
- ゼロショットTTSは同一話者の別々の発話を組にし、n本の発話から n×(n-1) 件を作るため、参照音声の書き起こしが不要になった。
- AuK-FlashはCFGなしの4ステップで動き、条件を揃えてフル版の実時間4.5倍だと報告されている。
AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing
一次資料 — この記事の根拠
論文の発表 2026-09-08→この解説の公開 2026-09-10同月
AuK Technical Report: An Open-Source Foundational Model for Speech Generation and EditingZiyang Ma, Zhikang Niu, Wenming Tu ほか · 2026-09-08 · v1arXiv:2609.08936論文ページ·PDF原文の要旨（Abstract）を読む
We introduce AuK, an open-source foundational model that unifies speech generation and editing through a common interface of natural-language instructions and audio context. To support this broad capability set, we construct approximately 3.03 billion instruction--audio instances and 1.95 million hours of effective supervision across five task families: speech generation, content editing, enhancement and separation, paralinguistic editing, and acoustic editing. AuK combines a multimodal large language model for semantic conditioning, an VAE jointly trained on speech, general audio, and music for acoustic conditioning, and a hybrid rectified-flow Transformer that performs dual-stream MMDiT blocks followed by unified single-stream DiT blocks for generation. Training begins with generation-only warm-up and proceeds to joint generation--editing pre-training. We then apply complementary post-training strategies: human-feedback preference optimization for open-ended editing and reward-based reinforcement learning for speech generation. To reduce inference cost, we further distill the model with consistency initialization and task-routed Decoupled DMD. The resulting AuK-Flash performs 4-step inference without classifier-free guidance and achieves a 4.5 wall-clock speedup over the full model under matched conditions. Experiments demonstrate leading performance on zero-shot and instruction-controlled speech generation and general instruction-guided editing, while remaining competitive on signal-level restoration tasks. We release both the source code and model weights to support reproducibility and further research.
音声の「作る」と「直す」は、別のソフトだった
原題は "AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing"（arXiv:2609.08936、2026年9月8日公開）。訳せば「AuK技術報告: 音声生成と音声編集のためのオープンソース基盤モデル」です。
要旨をまとめます。AuKは、音声の生成と編集を「自然言語の指示＋（あれば）音声の文脈」という共通の入口に統一したオープンソースの基盤モデル。音声生成・内容編集・強調と分離・パラ言語編集・音響編集の5系統にわたり、約30.3億件の指示-音声ペアと195万時間分の有効な教師信号を構築しました。構成は、意味の条件づけを担うマルチモーダル大規模言語モデル（MLLM）、音声・一般音響・音楽で合同学習したVAE、そして二本立て（dual-stream）のMMDiTブロックの後に一本化（single-stream）したDiTブロックを重ねたrectified-flow Transformerの3つ。生成だけのウォームアップから生成・編集の合同事前学習へ進み、編集には人間の選好最適化を、生成には報酬による強化学習を当てます。最後にタスク別に経路を分けたDecoupled DMDで蒸留して得たAuK-Flashは、classifier-free guidance（CFG）なしの4ステップで動き、条件を揃えてフル版の実時間4.5倍だと報告されています。
なぜ「統一」が難しいのか
利用者は「この声で読み上げて」「ここの単語だけ差し替えて」「もっと怒った感じに」「この人の声だけ抜き出して」を地続きで頼みます。タスクごとに別モデルを置けば体験は分断され、開発も重複する。だから窓口を1つにしよう、というのが出発点です（§1）。
ただし論文は難しさも挙げます。出力の制約が根本的に違うこと。生成は新しい音声を作るが、内容編集は指定箇所だけを変え、パラ言語・音響編集は言語内容を保ち、強調・分離は指示された成分だけを残さねばならない。そして評価が不揃いであること。生成には認識精度と話者類似度という自動の物差しがあるのに、開かれた編集は主観的な判断に依存します。
データ: 5系統を同じ形に揃える
5系統のデータはすべて「指示・任意の入力音声・目標波形」という同じ形をしています（§2）。音響編集は話速5段階・音量6段階・ピッチ6段階を信号処理で決定論的に作り、パラ言語編集は感情8種・音色・脱アクセント・非言語音39種・ささやき声を扱います。
面白いのはゼロショットTTSの作り方です（§2.1）。通常は1本の録音を前半と後半に割りますが、AuKは同一話者の別々の発話を組にし、n本の発話から n×(n-1) 件を作る。内容も収録条件も違う2本を使うことで話者固有の性質と発話ごとの揺らぎが分離されやすくなり、参照音声の書き起こしも不要になりました。
「同じ声」を数値で決める
生成の良し悪しは「内容が合っているか」と「声が似ているか」で測ります。後者のSIM（話者類似度）は、参照音声と生成音声を話者エンコーダ でベクトルにし、その余弦を取ったものです。強化学習の報酬にも同じ形が使われます（§4.3.2）。
は生成候補、 は参照音声、 は音声を1本のベクトルに要約する話者エンコーダです。式(1)が言っているのは要するに、声を1本の矢印に変えて、2本の矢印の向きがどれだけ揃っているかを見る、それだけです。値は−1〜1に収まり、1に近いほど同じ人の声と判定されます。録音レベルの差はベクトルの長さに出るので、向きだけを見る余弦が都合いいわけです。
コメント
コメントにはログインが必要です