論文解説 CosmoH2G — 人の手の「ひっくり返す」動きを、二本指グリッパに写す
人の手の動画を二本指グリッパの動作に変換する研究は、これまで「置く・押す」のような平面的な作業に限られていた。CosmoH2G（arXiv:2609.07498）は回転・反転を含む動きに絞った手とグリッパの対データ6,189本を集め、始点と終点の姿勢を先に決めてから間を生成する二段構えで、既存手法より安定して写せることを示した。論文本文だけを根拠に解説する。
要点
- CosmoH2Gは、人の手の動きをロボットの二本指グリッパの動きに変換するHand-to-Gripper（H2G）の論文である。
- ルールで写す流派は大きな回転で破綻し、物体の軌跡を追う流派は物体を大きく回転させると追跡点が隠れて失敗する。
- 手持ち型グリッパUMIで同じ作業を模倣し、1,254個の物体・6,189エピソードの手とグリッパの対データを集めた。
- 手とUMIの軌道の類似度スコアが0.9を超える組だけを残し、残った対の平均は0.957だった。
- 単段モデルは成功率58〜65%にとどまったため、始点と終点の姿勢を先に生成するStage Iと、間の向きを生成するStage IIに分けた。
CosmoH2G: A Hand-to-Gripper Transfer Dataset and Baseline Method for Object Manipulation with Complex Spatial Movements
一次資料 — この記事の根拠
論文の発表 2026-09-07→この解説の公開 2026-09-13同月
CosmoH2G: A Hand-to-Gripper Transfer Dataset and Baseline Method for Object Manipulation with Complex Spatial MovementsHongxiang Zhao, Mutian Xu, Zeyu Jin ほか · 2026-09-07 · v1arXiv:2609.07498論文ページ·PDF原文の要旨（Abstract）を読む
Transferring human hand demonstrations to robotic grippers has recently emerged as a cost-effective solution for robot learning. However, existing methods are largely confined to simple, planar tasks and fail to handle complex spatial movements (e.g., intricate trajectories involving rotations or flips) that are essential for robot manipulation. Motivated by this gap, we adopt an implicit, data-driven approach guided by fine-grained hand-pose motions. To this end, we introduce a scalable acquisition pipeline to collect hand-gripper paired demonstrations, governed by a rigorous protocol that prioritizes motion complexity and leverages a handheld gripper for seamless action mimicry. This yields a large-scale paired dataset comprising 6,189 episodes across 1,254 unique objects, exhibiting significantly higher spatial complexity than existing benchmarks. However, learning such complex mappings remains challenging. We observe that naive end-to-end generation of full gripper pose sequences is insufficient, as minor trajectory deviations compound rapidly under intricate dynamics. To address this, we propose a two-stage framework: Stage I predicts sparse gripper keyframes (initial and terminal) to simplify the mapping objective, while Stage II generates the full continuous action sequence conditioned on these keyframes. Furthermore, to mitigate cumulative drift, we keep the gripper's orientation being learned while post-optimizing its translation based on the grasping heuristic and kinematic consistency. In both simulation and real-robot experiments, our framework enables stable and precise hand-to-gripper transfer of complex spatial manipulations, significantly outperforming traditional baselines. Project page: https://cosmoh2g.github.io.
この論文が扱っている問題
原題は "CosmoH2G: A Hand-to-Gripper Transfer Dataset and Baseline Method for Object Manipulation with Complex Spatial Movements"（Zhao, Xu, Jin, Hao, Cui, Han. arXiv:2609.07498, 2026年9月）です。H2G は Hand-to-Gripper、「人の手 → ロボットの二本指グリッパ」の変換を指します。
abstract の主張を日本語でまとめます。人の手による実演をロボットのグリッパに移す手法は安価なロボット学習の手段として注目されているが、既存手法は平面的で単純な作業にほぼ限られ、回転や反転を伴う複雑な空間的動きを扱えない。著者らは、細かな手の姿勢の動きを手がかりにしたデータ駆動のアプローチを採り、手持ち型グリッパで手とグリッパの対になった実演を集めるパイプラインを設計して、1,254個の物体・6,189エピソードの対データを作った。ただし、この写像を素朴に端から端まで学習させると、わずかな軌道のずれが急速に積み重なって失敗する。そこで始点と終点のグリッパ姿勢だけを先に予測し（Stage I）、それを条件に連続した動作列を生成する（Stage II）二段構成を提案する。さらに、向きは学習で決め、位置は把持の経験則と運動学的整合性で事後最適化することで蓄積するずれを抑える。シミュレーションと実機の両方で従来手法を大きく上回った——というのが要旨です。
比喩: 手の動画を見せて、トングで再現させる
誰かが卵タルトを手で持ち上げ、皿の上でくるりと裏返して置く動画があるとします。それを見て、同じことをトング（指が二本しかない道具）でやってください、と言われたらどうでしょう。指5本の握り方をそのままトングに写すことはできません。関節の数も、つかめる面積も違うからです。論文はこの違いを「体の違い（embodiment gap）」と呼び、既存手法を2つの流派に整理しています（§1, §2.1）。
- ルールで写す流派: 「親指と人差し指の中点をグリッパの把持点にする」といった手作りの対応表で、毎フレーム手の姿勢をグリッパ姿勢に変換する。つまみ動作では動くが、自然な握り方や大きな回転では対応表が破綻する（Fig. 4）。
- 物体の軌跡だけ追う流派: 手は無視し、物体の動いた経路だけを動画から追跡してロボットになぞらせる。体の違いは回避できるが、散らかった環境では追跡が壊れやすく、「工具の向きを保つ」「衝突を避けるために持ち替える」といった手の姿勢に含まれる情報が捨てられる。
Fig. 3 は後者の失敗を具体的に示しています。物体を大きく回転させると、追跡していた点が物体の裏に隠れ、追跡器は見えている別の場所へ滑っていく。ひっくり返す動きこそが、「点を追う」手法にとって最悪のケースなのです。
そこで著者らは、対応表を人が書くのをやめ、手とグリッパが同じ作業をした対データから対応を学習させる立場を取ります（§1）。当然、そのためのデータがまず必要になります。
データ: 手持ちグリッパで「同じ作業をもう一度」
この論文の半分はデータセットの話です。集め方の要点は4つです（§3.1）。
- 手の側: 収集者は握り方や触れる場所を自由に変え、つまみ動作に限定しない。各作業に水平回転や垂直方向の反転を必ず含める。
- グリッパの側: UMI と呼ばれる手持ち型グリッパで、人がその場で同じ作業を模倣する。接触面・把持の向き・動きの流れを手の実演に合わせる。ロボットを遠隔操作する従来方式（§2.2）より速く、複雑な動きも記録できる。
- 記録: 固定視点の RGB-D（色＋奥行き）動画のみ。環境が変わるたびの較正が不要。
- 検証: 始点と終点で物体の姿勢が手とグリッパの間で一致しているかを確認し、ずれた組は捨てる。
こうして 1,254 個の物体・6,189 エピソードが集まりました（物体1つにつき3〜5本）。内訳は食品 23.03%・装飾品 27.88%・美容品 3.64%・日用品 12.12%・玩具 33.33%（Table 1）。動画からは、物体メッシュの復元、最初と最後のフレームでの物体登録、フレームごとの手メッシュ復元、CAD モデルを使った UMI の追跡を経て、「物体の点群・手のメッシュ列・グリッパの6自由度姿勢列」が抽出されます（§3.2）。
品質管理も数値で示されています。手と UMI の軌道の類似度スコアが 0.9 を超える組だけを残した結果、残った対の平均は 0.957（中央値 0.958）でした（§3.2, Fig. 13）。この類似度は付録 D.1 によると、2本の3D軌道の DTW（動的時間伸縮）距離を長さで正規化し、机幅の20%を許容誤差として 0〜1 に写したものです。DTW は「速さが違っても同じ形の動き」を対応づける動的計画法で、下の図の編集距離と同じ発想——表を1マスずつ埋めて最良の対応を探す——で動きます。
論文は、このデータセットの向きの変化量が Robosuite・MimicPlay・RT-1 を大きく上回ると主張しています（§3.3, Fig. 2）。ただし比較はヒストグラムのみで、具体的な数値は本文にありません。
なぜ「一発生成」では駄目だったのか
データが揃えば「手の点群列を入れたらグリッパの姿勢列が出る」モデルを学習すればよさそうです。しかし論文は、この素朴な学習が把持に必要な精度に届かなかったと報告しています。Denoising Transformer・Diffusion Policy・ACT の3種類の単段モデルはいずれも成功率 58〜65%、置いたときの向き誤差 47〜53° にとどまりました（§5.3, Table 3）。理由は「複雑な動きの中では軌道の小さなずれが急速に積み重なる」こと。序盤の小さな誤りが終盤の把持位置や置く向きを丸ごと狂わせます。
そこで問題を2段に分割します（§4）。Stage I で始点（つかむ瞬間）と終点（置く瞬間）の2フレームだけグリッパの6自由度姿勢を生成し、Stage II でその2姿勢を条件に間の動作列を生成する。ただし Stage II が生成するのは向きだけで、位置は手の軌道から幾何的に計算して事後最適化します。「難しい写像の両端を先に釘で留めてから、間を埋める」発想です。
Stage I: 始点と終点の姿勢を拡散モデルで生成する
Stage I は、手の点群・物体の点群・接触マップ（物体表面のどこに手が触れているか）を条件に、グリッパ姿勢を1フレーム分生成する denoising Transformer です（§4.2）。拡散モデルの基本は拡散モデルを1から理解するに譲り、ここでは「ノイズまみれの姿勢を、点群を見ながら少しずつきれいにする」と読んでください。
工夫は2つです。点群の符号化では、物体と手を別々の Point Transformer で 256 次元の特徴に変換します（§4.2, §4.4）。接触マップは物体点群の各点に「触れられ度合い」として付加されますが、指1本1本の正確な位置は不要で「物体のどの辺りを握ったか」が分かれば十分だと論文は述べています。5本指と2本指では指の細かな配置が転写に無関係だからです。
コメント
コメントにはログインが必要です