論文解説: PointWAM — 世界を「場面」と「手」の3D点の軌跡に分けて予測し、人間の動画からロボットの器用な手を学ぶ

世界を「場面の点」と「手のキーポイント」に分け、両方の未来の3D軌跡を同じ座標系で予測してから、手の軌跡をロボットの動作に変換するPointWAM。人間の動画115万エピソードで事前学習し、DexJoCoの平均成功率を12.1%から69.0%へ引き上げた設計を、論文本文に沿って1から解説する。

PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation

この記事で扱う論文

今回読むのは "PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation"（arXiv:2610.02840、2026年10月2日公開、POSTECH・KAIST・漢陽大学・RLWRLD の共同研究）です。

論文の要旨を日本語でまとめるとこうなります。「世界行動モデル（World Action Model, WAM）は、世界がどう変化するかの予測と、ロボットの行動の予測を同時に学習し、学んだ世界の動きを正確な行動の手がかりにする。既存手法の多くは世界をRGB画像やその潜在表現で、行動を手先の姿勢や関節角で表すが、器用な操作の要である3D空間構造や接触の幾何をとらえにくい。PointWAM は世界を場面（環境）と手（行為者）に分解し、両方を共通の時空間座標系の中の3D点の軌跡として同時に予測する。この明示的で分離された表現により、作業ごとの物体やキーポイントの選定なしに、大規模な人間のデモ動画で事前学習できる。色つき点群と言語指示を受け取り、場面と手が3D空間でどう一緒に変化するかを予測し、予測した手の動きをロボットの行動に変換する。人間の動画での事前学習は DexJoCo の平均成功率を56.9ポイント改善し、場面の軌跡による教師はさらに10.9ポイントを上乗せする。両方を合わせると、DexJoCo の10タスクで従来の最高性能を11.7ポイント上回り、実機でも強力なVLAを上回った。」

比喩: 料理番組を見て、包丁さばきを覚える

人が料理番組を見て包丁さばきを覚えるとき、注目しているのは画面の色合いではなく、「指がどこにあって、食材がどう動いたか」です。指先が玉ねぎに触れ、刃が入り、切れた断片が左右に倒れる。この「手の動き」と「物の動き」の対応関係こそが技能の中身です。

ロボットにも同じことをさせたいのですが、これまでの多くの手法は画面をそのまま、つまり2Dの画像として扱っていました。指が玉ねぎの手前にあるのか奥にあるのかは画像だけでは曖昧で、触れている面の形もわかりにくい。PointWAM の発想は、世界を最初から3Dの点の集まりとして扱い、「場面の点」と「手の点」がこれからどう動くかを同時に予測することです（§1）。

もう1つの利点があります。人間の手とロボットの手は形が違いますが、「親指の先」「人差し指の先」「手のひらの何点か」といった意味的に対応するキーポイントなら両者で共通に定義できます。そうすれば、人間が物を扱う動画を大量に集めて、ロボットのデータと同じ形式の教材に変換できます。

直感: VLA と WAM の違い

ロボット学習の主流である VLA（Vision-Language-Action）モデルは、カメラ画像と指示文を受け取って、そのまま次のモーター指令を出します。途中で「この先世界がどうなるか」を明示的に予測しません（§1）。

これに対して WAM（世界行動モデル）は、「世界がどう変わるか」と「どの行動がその変化を起こすか」を一緒に学びます。ただ、既存のWAMの多くは動画生成モデルを土台にしていて、未来を画像（またはその潜在表現）として予測し、行動は手先の姿勢として出力します。すると「潜在空間の特徴の変化」と「ロボットの動き」の対応をモデルが自力で学ぶ必要があります（§2）。

PointWAM はここを3Dの点の軌跡で統一しました。場面も手も、同じ座標系の中で「この点は次の時刻にどれだけ動くか」という形で予測します。

仕組み: 予測するのは「変位」

まず入力を確認します。時刻 $t$ における入力は、言語指示 $\ell$、RGBDカメラから作った色つき点群 $\mathcal{P}_t$、ロボットの現在状態 $\bm{s}_t$（手先の姿勢と指の関節角）です。手は片手10点、両手で $K$ 個のキーポイント $\mathcal{Q}_t$ として場面の座標系に置きます（§3.1）。

予測する量は、点の位置そのものではなく、現在からのずれ（変位）です。