論文解説 4DAnyone — 手持ちの動画1本から「誰でも」4Dにする

スマホで正面から撮った動画1本から、自由視点で見られる4D人物を作る手法 4DAnyone を前提知識ゼロから解説。鍵は「注意の器に入りきらない」問題を解く RCP と TCR の2つの工夫。

4DAnyone: Create Anyone in 4D from a Casual Monocular Video

撮っていない角度から、その人を見たい

ライブハウスでベースを弾く友人を、スマホで正面から撮ったとする。あとで「背中側のフォームが見たい」と思っても、撮っていない角度は映っていない。当たり前の話です。

この当たり前を崩そうとするのが 4DAnyone です。論文の言い方をすると、キャリブレーションされていない単眼動画（焦点距離もカメラ位置も分からない、手持ちの普通の1台撮り動画）から、再構成に耐える品質の多視点一貫動画を生成し、それを 4D Gaussian Splatting へ持ち上げる枠組みです（Abstract）。面白いのは、論文が生成の見栄えより「数十視点をまたいで矛盾させないこと」が本丸だと言い切っている点です。

4Dとは「3D＋時間」

言葉を揃えます。3Dはぐるりと回り込める立体、4Dは動いたまま回り込める立体です。彫像が3D、踊っている人が4D。

それを表す現在の主流が Gaussian Splatting です。三角形のポリゴンで形を組む代わりに、空間に半透明の小さな楕円のシミ（ガウシアン）を何十万個も浮かべ、色と大きさと向きを持たせて画面に重ね塗りします。世界を「霧の粒」で描く、と思ってください。粒が時間とともに動けるよう拡張したのが 4D Gaussian Splatting（4DGS）で、本論文は下流の再構成器に FreeTimeGS を使います（§3.1）。

問題は、4DGSが贅沢な入力を要求することです。論文が引く DNA-Rendering は48台のカメラを組んだリグで、キャリブレーション済みの静止カメラ群から同期多視点動画を撮ります（§1）。スタジオがないと始まらない。ならば単眼動画からその多視点動画を作ってしまえ、という発想になります。

素直にやると壊れる

素直な方針はこうです。カメラ制御つきの動画拡散モデルに「この人を右斜め後ろから見たらどうか」を生成させ、16視点ぶん並べて4DGSに渡す。

ところが既存のカメラ制御手法はこの規模で破綻する、と論文は報告します（§1）。単発なら「もっともらしい」映像が出るのに、4DGSに必要な数十視点まで増やすと、視点ごとに服の柄が変わり、体型が微妙に太ったり痩せたりする。人の目には気づきにくい程度でも、4DGSは複数視点の幾何的な辻褄で形を決めるので、ズレはそのまま再構成の破綻になります。論文はこれを appearance inconsistency（見た目の不一致） と structural drift（構造のずれ） と呼び、「ボトルネックは視点制御ではなく、再構成スケールで一貫性をどう保つかだ」と述べます。

犯人は「注意の器」に上限があること

なぜスケールすると壊れるのか。論文の診断は、モデルの賢さではなくアーキテクチャの制約だというものです。すなわち、1回の DiT フォワードパスで扱える注意（attention）の文脈長は、メモリと計算の予算で上限が決まっている（§1）。

注意機構の復習を一言だけ。注意とは「全部の要素が全部の要素を見比べ、似ている相手の情報を強く取り込む」仕組みで、似ている度合いは内積で測ります（詳しくはAttention機構を1から理解する）。4DAnyone では、同じ時刻の別視点のトークン同士が直接見比べられるようトークンを並べ替える multiview self-attention が入っており、これは基盤モデル Wan2.2 の時間方向self-attentionと同じ構造・同じ重みを流用しています（Supp. A）。

つまり 同じ器に入っている視点同士だけが直接すり合わせできる。ところが16視点×121フレームぶんのトークンは器に入りきらないので、視点をグループに割るしかない。ここから2つのボトルネックが生まれます（§1）。

ひとつは参照側です。理想を言えば、各グループはそれまでに生成した全視点を見ながら描きたい。しかし参照の文脈長は視点数 $N$ に比例して $O(N)$ で伸び、すぐ器から溢れる。溢れないよう間引けば、今度は見た目の手がかりが痩せます。

もうひとつはターゲット側です。分割されたグループ同士は文脈が交わらないので、「この人はいまこういう体型・姿勢で描かれている」という情報を直接やり取りできません。結果、グループ間で構造がじわじわずれます。既存手法はこの2つを同時に解いていない、というのが論文の主張です。CAT3D は疎なアンカー視点を文脈に選ぶが選外の見た目情報を捨てる。CAT4D や Diffuman4D はスライディングウィンドウで重ねるが、視点数が増えるとウィンドウ間のドリフトが残る（§2）。

打ち手1: Reference Context Packing — 参照を $O(1)$ に畳む

Reference Context Packing（RCP） は参照側の $O(N)$ を潰します。着眼点は「近い視点の参照は情報が重複している」こと。全部をフル解像度で持つのは無駄で、混合解像度の参照文脈で十分だという観察です（§3.3）。

やり方は拍子抜けするほど素直です。動画拡散モデルは画像を小さなパッチに切ってトークンにしますが（この層を patchify と呼びます）、基盤の Wan2.2 は kernel/stride が $(1,2,2)$。RCP はこれを $(1,2r,2r)$ に替えた層 $\mathcal{P}_r$ を用意します。1辺を $r$ 倍粗く切るのでトークン数は $\frac{1}{r^2}$。実装上は $2\times$ が $(1,4,4)$、$4\times$ が $(1,8,8)$ です（Supp. A）。実際に使う参照文脈はこの形です。

読み下すと「元動画 $\mathbf{V}_{\text{src}}$ はフル解像度、生成済み参照のうち3本は $2\times$ 圧縮、別の4本は $4\times$ 圧縮で持つ」。トークン数に直すと $1+3\cdot\frac14+4\cdot\frac{1}{16}=2$、フル解像度換算でわずか2本ぶんの席に8本の参照が座っている計算です。席の数は固定なので、参照側の計算量は $O(N)$ から $O(1)$ になります。