論文解説: Motion-Omni — 話しながら全身が動く、end-to-endの音声対話モデル
返事の音声と全身のジェスチャーを、同じ推論の中で一度に生成する枠組み Motion-Omni を論文本文から解説。波形ではなく音声生成器の隠れ状態から動きを作る設計、そのために必要だった共適応と疑似ラベル、そして残った限界まで追う。
Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue
一次資料 — この記事の根拠
論文の発表 2026-08-28→この解説の公開 2026-09-08同月
Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken DialogueChengqian Ma, Wei Tao, Haoyu Zhang ほか · 2026-08-28 · v1arXiv:2609.04250論文ページ·PDF原文の要旨（Abstract）を読む
An avatar that holds a conversation should decide what to say and to move while saying it, yet these abilities live in separate model families: spoken dialogue models produce speech without motion, and co-speech motion models produce motion only from audio handed to them. The standard remedy is a cascade that first generates the spoken response and then runs a motion model over the finished audio, which requires a second full inference pass and precludes any joint optimisation between the two. We present Motion-Omni, an end-to-end framework in which a spoken dialogue model natively outputs explicit facial expression together with hand, upper-body and lower-body motion, generated directly from the hidden states that produce the speech. Joint training is not optional here: with the speech pathway frozen, motion remains misaligned with the audio, and co-adapting the LLM, Speech Generator and Motion Generator under both objectives is what recovers alignment while retaining spoken-dialogue ability. Supervision comes from a scalable, model-agnostic pipeline that pseudo-labels consistent-voice speech responses with a replaceable motion teacher, yielding 422,856 quality-ranked pairs (1,402 hours). We further release SwDA-500 and, to our knowledge, the first public evaluation protocol for stochastic open-ended full-body spoken dialogue, matching audio across motion systems while unifying rendering, automatic metrics, human evaluation, and latency measurement. Instantiated with a Qwen2.5-7B-Instruct backbone, Motion-Omni-Q7 matches the same-audio teacher cascade to within 2% on reference-free motion metrics while responding 5.4 x faster (RTF=0.78, faster than real time), surpasses all non-teacher cascades on beat correlation and diversity, and reaches a 2.62% word error rate, the lowest among the omni-modal systems compared.
「何を言うか」と「どう動くか」を同じ推論で決める
会議で誰かが「ポイントは3つあります」と言うとき、たいてい指が3本立ちます。声と身振りは別々に企画されたものではなく、同じ発話計画から同時に出てきます。ところが機械の側では、この2つは長らく別の家系のモデルに分かれていました。
今回読むのは、その分断を1本のモデルに畳み込もうとした論文です。原題は "Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue"（arXiv:2609.04250、2026年8月28日投稿）。著者は Chengqian Ma、Wei Tao、Haoyu Zhang、Yiwen Guo の4名です。
要旨はこうです。音声対話モデル（SDM）は返事の音声を作るが動きは作らない。co-speech motion モデルは渡された音声から動きを作るだけで、返事そのものは考えない。両方欲しければ2つを直列につなぐ「カスケード」しかないが、それは音声が出来上がってからもう一度フル推論を回すことを意味し、しかも動きの目的関数が音声側のパラメータを更新する道が原理的に存在しない。Motion-Omni は、音声を生み出しているまさにその隠れ状態から、表情・手・上半身・下半身の動きを直接出力する end-to-end の枠組みです。論文は「共同学習は選択肢ではない」と言い切ります。音声経路を凍結したままでは動きは音声とずれたままで、LLM・Speech Generator・Motion Generator を両方の目的関数の下で共適応させて初めて整合が取れる、と。学習データは教師モデルによる疑似ラベル付けで 422,856 組（1,402時間）を作り、評価用に SwDA-500 とプロトコルを公開しています。Qwen2.5-7B-Instruct を土台にした Motion-Omni-Q7 は、同じ音声を使う教師カスケードに対して参照不要の動き指標で2%以内に迫りつつ応答は5.4倍速く（RTF=0.78、実時間より速い）、単語誤り率2.62%を記録した、というのが論文の主張です。
カスケードが払っている2つの代償
まず、なぜカスケードでは駄目なのかを整理しておきます。論文が挙げる構造的コストは2つです（§1）。1つは時間。動きモデルは音声が完成しきってから第2の推論パスとして走るので、待ち時間が素直に積み上がります。もう1つは学習。動きの損失は、音声や対話を担当するパラメータに一切届きません。「もっと身振りが付けやすい話し方」に音声側が寄っていく、という余地が最初から閉じているわけです。
この論文は、その2つを同時に外せるかを問うています。動きを SDM のネイティブな出力にできるか、つまり音声を作っているのと同じ状態から動きを生やせるか、という問いです。
全体像: 4つの部品と条件付けの向き
Motion-Omni は4部品で構成されます（§3.1）。枠組みが規定するのは入出力インタフェースと条件付けの位置関係だけで、具体的なモデルクラスは実装側の選択です。参照実装 Motion-Omni-Q7 の中身は次のとおりです。
- Speech Encoder / Projector: 凍結した Whisper-large-v3（隠れ次元1280）。プロジェクタは連続5フレームを連結して2層MLPに通し、系列長を5分の1にして LLM の埋め込み空間へ落とす
- LLM Backbone: Qwen2.5-7B-Instruct。Stage 1〜3では凍結、Stage 4でのみ小さい学習率で微調整
- Speech Generator: Qwen2.5-0.5B-Instruct から初期化した Qwen2 系トランスフォーマ。GLM-4-Voice の離散音声単位を 12.5 Hz で、語彙 16,384（＋制御トークン3個）から自己回帰生成する
- Motion Generator: 顔・手・上半身・下半身の4本の並列デコーダ。LOM の VQ コードを 30 Hz で出す
推論時は、音声単位を CosyVoice のチャンク対応フローマッチング復号器でメルスペクトログラムに変え、HiFi-GAN 系ボコーダで 22.05 kHz の波形にします。動きコードのほうは凍結した LOM の VQ-VAE で SMPL-X のボディ/ハンドパラメータと FLAME の表情係数へ戻します。
仕組み: 波形ではなく「隠れ状態」から動かす
この論文でいちばん効いている一手は、Motion Generator の条件付け先です。デコードされた波形ではなく、Speech Generator の最終層隠れ状態を見ます（§3.2）。入力ストリームは2本あります。
言い換えると、（音声生成器の隠れ状態）を動き側の作業次元へ写したものが「参照される側」（キーと値）、いま出したばかりの音声単位 を埋め込み表 で引いたものが「質問する側」（クエリ）です。 は時間軸方向の線形補間で、12.5 Hz の音声単位レートを 30 Hz の動きレートへ引き伸ばします。この補間が、2つの出力が違う速さで進むという厄介さを吸収している部分です。
役割分担にも意味があります。論文の説明では、クエリ側は「その瞬間に何を言っているか」を1音声単位につき1ベクトルで表し、キー/バリュー側にはそれに加えて話者の声色のように身体の動きを駆動しない情報も混ざっている。だから、必要なものだけを通す門番が要る、という理屈です。
ゲート付き融合(TQGF)が門番を担う
その門番が Token-as-Query Gated Fusion（TQGF）です。素のクロスアテンションなら注意の出力をそのまま残差ストリームに足しますが、TQGF はその前にシグモイドのゲートを要素ごとに掛けます（付録A.1）。クエリ側の各トークンが、座標ごとに「この信号をどれだけ入れるか」を決められる、というつくりです。しかも足し算で合流するので、ゲートが閉じきっても文脈なしのクエリに戻るだけで、情報ゼロの状態にはなりません。
融合方式のアブレーション（付録G.1、Stage 3a条件でのBC）では、TQGF＋Speech Generator の K/V が 0.912 で最良、素のクロスアテンションが 0.905、FiLM 0.852、TQGF＋LLM の K/V が 0.827、連結 0.809、GLU 0.799 でした。論文はここから2点だけを主張します。同じ TQGF なら LLM の状態より Speech Generator の状態のほうが動きに効くこと、この設定ではゲート付き融合が素のクロスアテンションよりわずかに良いこと。TQGF の内部要素すべてを切り分けた実験ではない、と自ら注記しています。
コメント
コメントにはログインが必要です