論文解説: TLive-Omni — ライブ配信を「見て・聞いて・何分何秒かまで答える」オムニモーダルモデル

ECライブ配信に特化したオムニモーダル理解モデルTLive-Omniを、前提知識ゼロから解説。時刻つきで映像と音を隣に置くPer-vGrid、3段階SFT、思考の跡ではなく答えの忠実さに報酬を出すFaithful-RFTまでを、論文の数値だけを根拠に読み解く。

TLive-Omni: An Omni-Modal Understanding Model for E-Commerce Live Streaming

深夜3時間の配信から「その一言」を探す

ライブコマース（配信しながら商品を売る番組）を思い浮かべてください。配信者が3時間しゃべり続け、机の上の商品は入れ替わり、画面の隅にクーポンの文字が出て、視聴者は「サイズ展開は?」とコメントを打ち込む。ここで「Lサイズの在庫に触れたのは何分何秒?」と聞かれたら、声（何を言ったか）・映像（そのとき何を持っていたか）・画面上の文字（値段やクーポン）・商品画像（カタログ側の正解）・視聴者の質問文を同時に扱わないと答えられません。しかも根拠は3時間のどこかに散らばっています。

TLive-Omni（Taobao & Tmall Group of Alibaba）は、この状況に特化したオムニモーダル理解モデルです。「オムニモーダル」とは、画像・動画・音声・テキストを同じ表現空間に写して1本の入力列として扱うこと。論文はこのモデルを「テキストのみを出力する理解モデル」と明記しています（§2.1）。喋り返す相棒ではなく、読み解いて答える装置だと思ってください。

論文が挙げる難所は2つです（§1）。1つは異種信号の同時解釈。音声と映像を別々に処理してから足し合わせるやり方では、「この発言はこの瞬間の映像に対応する」という関係が失われます。もう1つは長さで、根拠となる場面は数十分先にあるかもしれない。TLive-Omniは最大256Kトークンのマルチモーダル文脈を扱えるとしています（§1）。

素朴な回避策は「音声を外部のASR（自動音声認識）で文字にして、テキストだけをモデルに渡す」です。論文はこれを明確に否定します（§2.3）。文字にした瞬間に音声と映像の時間的対応が消え、さらに誰が話しているかといったパラ言語的な手がかりも落ちるからです。ライブ配信では商品の事実の多くが映像には映らず配信者の声にしか存在しない — だから音声を一級の入力モダリティとして保つ、というのが論文の立場です。

まず採点表を見る: 「聞き取り」は編集距離で測られる

このモデルの主戦場のひとつは配信音声の書き起こしです。論文の評価はCER（文字誤り率）を使い、正解と予測の双方から話者マーカー・括弧タグ・句読点・空白・語気助詞を取り除き、中国語は簡体字に統一したうえで次を計算します（付録B）。

つまりこれは「書き起こしの修理代」です。CERが0.05なら、100文字につき5文字ぶんの手直しがまだ残っている、ということ。長くしゃべった配信ほど分母 $N$ も大きくなるので、単に文字数が多いという理由で不利にはなりません。

$S$ は置換（別の文字に間違えた数）、$D$ は脱落（言ったのに書かれていない数）、$I$ は挿入（言っていないのに書かれた数）、$N$ は正解の文字数です。ひとことで言えば「正解に直すには何文字いじる必要があるか」を、正解の長さで割った値。この「何文字いじるか」が編集距離で、動的計画法の表を1マスずつ埋めて求めます。下の図で、表がどう埋まるかを触ってみてください。

画面文字の認識（OCR）も同じ道具で測られます。論文は正規化編集距離 $d_{\mathrm{edit}}/\max(|p|,|g|)$ を使い、予測テキスト $p$ と正解 $g$ の長いほうで割って0〜1に収めています（付録B）。採点表を先に知っておくと、後で出てくる数字の意味がぶれません。

Per-vGrid: 映像と音を「隣に置く」

ここからが本題です。Per-vGridは、動画と音声を時刻つきの映像グリッドの列として並べます（§2.4）。ある時間区間の映像と、同じ区間を覆う音声を、明示的な境界トークンで囲った同じスパンに置き、その先頭にテキストの時刻を書く。字幕を別ファイルで持つのではなく、台本の各行の真横に対応する絵を貼っていくようなものです。Qwen3-Omniとの差は、時刻の明示・グリッド境界の明示・映像と音声のトークンを連続配置すること・隣接グリッドを列レベルで分けること、の4点だと論文は述べています。

なぜ「隣に置く」だけで効くのか。Transformerの入力は結局1本のトークン列で、モデルは位置の近さも手がかりに関係を推測します。映像を全部並べたあとに音声を全部並べる構成だと、対応する2つの証拠が数千トークン離れることもある。Per-vGridは対応するもの同士を必ず隣接させ、境界トークンで「どこからどこまでが同じ瞬間か」を明示します。対応関係を推測させるのではなく、入力列の形として見せてしまうのが設計の要点です。

先頭に書かれるテキストの時刻も、単なる飾りではありません。「何分何秒に何が起きたか」を答えるタスク（時間グラウンディング）では、モデルは最終的に秒数を文字として出力します。入力側に秒数が書いてあれば、出力すべき数字は入力のどこかからコピーしてくればよい。ここで入力に書いた秒数が実際の映像とずれていたら、モデルは正しくコピーしても間違えることになります。だから時刻の作り方が効いてきます。