論文解説 The Missing Temporal Link — 台本の「時刻」を映像と音声の時間軸に載せるTemporal Context Routing

映像と音声は互いに同期しているのに、台本の指定時刻からは2人そろってずれる — この見落とされた3本目の時間軸を、クロスアテンションのロジットに足す1本の式だけで埋めたTCRを、原論文の式と実験値に沿って1から解説する。

The Missing Temporal Link: Temporal Context Routing for Script-Driven Audio-Video Generation

音と映像は合っているのに、台本どおりではない

この記事で読むのは The Missing Temporal Link: Temporal Context Routing for Script-Driven Audio-Video Generation（arXiv:2609.02367、2026年9月2日公開）です。以下、論文中の略称にならって手法を TCR と呼びます。

論文の主張を要約すると、こうなります。映像と音声を同時に作る生成モデルは、画質と「口の動きと声が合っているか」については大きく進歩した。しかし、カットがいつ切り替わるか、セリフがいつ喋られるかを指定どおりに出す制御は弱いままである。台本駆動のコンテンツ制作ではこのタイミングのずれが物語の筋を壊す。原因は、現行モデルが映像と音声を共通の時間軸に載せている一方で、構造化プロンプトに書かれた時刻はプロンプトのテキスト表現の中にしか入っておらず、どちらのモダリティの時間座標とも結び付いていないことにある。結果として、映像と音声は互いに同期したまま、2つそろって台本の時間割から外れる。そこで論文は時間的な位置合わせを映像と音声だけでなく構造化台本にまで広げる Temporal Context Routing (TCR) を提案する。200本のテスト台本で、Shot Boundary MAE を 1.11 秒から 0.042 秒へ96%削減し、Dialogue Acc@0.5s を 28.3% から 84.1% へ引き上げた。画質と音映像同期はベースライン同等を保ち、被験者評価でも5項目すべてでTCRが好まれた（Abstract）。

面白いのは、これだけの差が新しいネットワークを足さずに出ている点です。TCRは学習パラメータをひとつも持ちません。仕掛けは、クロスアテンションのスコア表に足し算を1つ加えるだけです。

比喩: 台本を渡されていない現場

撮影現場を想像してください。カメラ班と録音班は互いにモニターを見ながら仕事をしているので、2人の呼吸はぴったり合っています。カメラが切り替わった瞬間に録音レベルも切り替わる。ここまでは問題ありません。

ところが監督が渡したのは、「2.3秒でカット、1.7秒から3.1秒でセリフ」と書かれた香盤表を朗読したテープだけでした。数字は耳に入っているのですが、2人とも手元のストップウォッチにその数字を落とし込んでいません。だからカメラ班と録音班は綺麗に揃ったまま、カットが3.4秒にずれ込みます。

論文が「missing temporal link（欠けている時間的な繋がり）」と呼んでいるのは、この香盤表の数字とストップウォッチの目盛りの間の断線です。TCRがやるのは、監督の指示を耳ではなくストップウォッチ側に直接書き込むことにあたります。

直感: 時間の物差しが2本しかなかった

もう少し技術的に言い直します。台本駆動の生成には、本来3本の時間の物差しが登場します。

1. 映像の潜在表現が並んでいる時間軸
2. 音声の潜在表現が並んでいる時間軸
3. 台本が「このショットは0.0〜2.3秒」と宣言している時間軸

既存の合同生成モデルは 1 と 2 を揃えることに注力してきました（§1、§2）。3 については、time_range のような数値をプロンプトの文字列に埋め込んでテキストエンコーダに通すだけです。テキストエンコーダの出力は「意味のベクトル」であって、「2.3秒という座標」ではありません。だからモデルから見ると、3本目の物差しは目盛りのない紙に印刷された数字でしかない。

映像側だけを対象に「どの局所プロンプトをいつ効かせるか」を扱った研究はすでにありますが、それらは構造化台本が映像と音声を同時にどう支配すべきかには踏み込んでいません（§1）。だから、映像と音声が互いに同期したまま2つそろって台本からずれる、という失敗の形が残ります。片方だけ直しても、同期を保とうとするもう片方が引きずられるだけだからです。

論文の中心的な洞察（§1）は一行で言えます。時間的整合を映像・音声の2者間から、構造化台本を含む3者間へ広げる。 そして各プロンプトの指定時刻を、両モダリティの時間座標に揃った明示的な制御信号として表す。

これを実現するうえで、論文は3つの難所を挙げています（§1）。第一に、ショットのプロンプトとセリフのプロンプトは別々の、部分的に重なる時間区間を占めうる（セリフはカットをまたいで続くことがある）ので、両者を単一の時間分割に押し込めてはいけない。第二に、この制御を学習するには細かい注釈が要るが、最初に得られる注釈は粗い。第三に、時間精度を上げた結果として画質や音映像同期を壊してはいけない。

土台: クロスアテンションのスコアは内積である

TCRの式に入る前に、足し算を加える先を押さえます。

生成モデルは、映像側の各時刻の潜在ベクトル（クエリ $\mathbf{q}^v_i$）と、台本の各テキストトークンのベクトル（キー $\mathbf{k}^v_j$）を突き合わせて、「この時刻でこの単語をどれだけ参照するか」の点数表を作ります。点数の作り方は内積です。音声側も同じ形の表を別に持ちます。ここはAttention機構を1から理解するで扱った仕組みと同じで、違うのは質問側（映像・音声）と答える側（台本テキスト）が別物であることだけです。

内積が大きいというのは、2本のベクトルが同じ向きを指しているということでした。まずここを手で回して確かめておくと、次節の「足し算」が何を歪めているのかが見えます。

仕組み: 区間を放物線に変えて、ロジットに足す

TCRは、各テキストトークン $j$ が親プロンプトから受け継いだ区間 $I_j=[s_j,e_j]$ を、中心と半径に書き換えるところから始めます（§3.3）。

$c_j$ はその区間のまん中の時刻、$r_j$ は区間の半分の長さです。$\epsilon=10^{-4}$ 秒は、長さゼロの区間で割り算が壊れないための下駄です。つまり式(1)は「0.0〜2.3秒」を「中心1.15秒・半径1.15秒」と言い換えただけです。

次が本体です。モダリティ $m\in\{v,a\}$（$v$ が映像、$a$ が音声）の、時間座標 $t^m_i$ にいるクエリに対して、ルーティングスコアを次で定義します。

読み下すと、「そのトークンの担当区間の中心から、いま見ている時刻がどれだけ離れているか」を区間の長さで割って正規化し、2乗して、マイナスを付けたものです。中心にいれば 0、区間の端では $-\beta/2$、外へ出るほど急速に小さくなります。区間に紐付かないトークンは $B^m_{ij}=0$ とします。

$r_j$ で割っているのが効いています。0.5秒のセリフと5秒のショットでは絶対時間のスケールが10倍違いますが、割ってしまえばどちらも「端で $-\beta/2$」という同じ形の山になります。長い区間ほど緩やかに、短い区間ほど鋭く効く、が自動的に出るわけです。