学生版 社会人版
JA EN

#audio-video-generation

2 記事

01 ·★ 会員·論文·21分で読めます 論文解説 The Missing Temporal Link — 台本の「時刻」を映像と音声の時間軸に載せるTemporal Context Routing The Missing Temporal Link: Temporal Context Routing for Script-Driven Audio-Video Generation 映像と音声は互いに同期しているのに、台本の指定時刻からは2人そろってずれる — この見落とされた3本目の時間軸を、クロスアテンションのロジットに足す1本の式だけで埋めたTCRを、原論文の式と実験値に沿って1から解説する。 02 ·★ 会員·論文·19分で読めます 論文解説: DreamX-Creator — 音と映像を「同時に」作る7Bモデルと、2Kへの1ステップ仕上げ DreamX-Creator: Democratizing Native Audio-Video Generation at 2K Resolution 音声と映像を1つの生成過程で同時に denoise する7Bモデルの論文を、前提知識ゼロから解説。ゲート付き交差注意・モダリティ別の強化学習・1ステップ2K仕上げの3点と、著者自身が置いている重い留保まで読む。