論文解説: Holi-World — 一人称の録画から「部屋の台帳」を自動で作り、空間と時間の推論を教える
一人称視点の撮影装置で撮った録画から、部屋の形・置かれた物・手で動かされた物の軌跡を自動で台帳にし、約8万問の空間・時間QAに変えて4Bの視覚言語モデルを学習させる Holi-World（arXiv:2610.26549）を前提知識ゼロから解説。仕組み、実験の数字、限界までを追う。
要点
- Holi-Worldは、一人称映像から世界の記録を自動で作り、学習と評価までつなぐ仕組みで、論文はarXiv:2610.26549です。
- 中核のHoliWorld-Foundryは静的な知覚と動的な知覚を組み合わせ、動かない場面の構造と変わる物の状態を世界の記録に結びます。
- 約100場面の記録をHoliWorld-Dataに整え、約8万組のQAでHoliWorld-VL-4Bを学習させました。
- 別の録画への人手の注釈がHoliWorld-Benchとなり、注釈の品質と学習した力の両方を測ります。
- Foundryは視覚と慣性を合わせたSLAMでカメラ位置を求め、Depth Anything 3で奥行きを推定し、3D Gaussian Splattingで場面を作ります。
Holi-World: Building Holistic World Intelligence from Human-Ego Experience
一次資料 — この記事の根拠
論文の発表 2026-10-19→この解説の公開 2026-10-21同月
Holi-World: Building Holistic World Intelligence from Human-Ego ExperienceHao Li, Xiyuan Zheng, Yuanyuan Gao ほか · 2026-10-19 · v1arXiv:2610.26549論文ページ·PDF原文の要旨（Abstract）を読む
Human egocentric experience offers a rich foundation for learning how the world is organized and how it changes through interaction. Realizing this potential at scale requires turning growing volumes of recordings into learning resources that connect scene structure, object semantics, and interaction histories across viewpoints and time, while reducing dependence on costly manual annotation. We introduce HOLI-WORLD, an integrated ecosystem connecting experience capture, world representation, automated data construction, model learning, and independent evaluation. To sup- port learning at scale, HOLIWORLD-Foundry combines complementary static and dynamic perception to automatically construct world records that connect persistent scene structure and evolving object states with interaction histories and supporting observations. HOLIWORLD-Data organizes these records from approximately 100 self-collected scenes into grounded learning resources, including approximately 80K QA pairs used to train HOLIWORLD-VL-4B. Independent human annotations of heldout recordings form HOLIWORLD-Bench, supporting evaluation of both annotation quality and learned spatial and temporal understanding. Experiments on ScanNet, ScanNet++, Aria Digital Twin, and HOLIWORLD-Bench demonstrate strong performance in static perception and dynamic tracking, while training on HOLIWORLD-Data substantially improves HOLIWORLD-VL-4B's spatial and temporal reasoning on HOLI- WORLD-Bench and EgoDynamic4D. HOLIWORLD provides a practical foundation for expanding learning resources from the continuous flow of human experience and advancing machine understanding of the dynamic world.
この論文が扱っている問題
原題は "Holi-World: Building Holistic World Intelligence from Human-Ego Experience"（Hao Li、Xiyuan Zheng、Yuanyuan Gao ほか、Ropedia・NTU・HKUST・PKU、arXiv:2610.26549、2026年10月19日）です。論文の1ページ目にコード（GitHub Ropedia/holi-world）とモデル・データ（Hugging Face ropedia-ai）の置き場所が書かれています。
要旨をまとめます。人が自分の目線で撮った映像（一人称映像）には、世界がどう組み立てられ、手を加えるとどう変わるかを学ぶ材料が詰まっている。ただし規模を出すには、増え続ける録画を、場面の構造・物の意味・やりとりの履歴を視点と時間をまたいで結んだ学習資源に変え、しかも高価な手作業の注釈への依存を減らす必要がある。著者らは撮影・世界の表現・データの自動構築・学習・独立した評価を一続きにした HOLI-WORLD を提案する。中核の HoliWorld-Foundry は静的な知覚と動的な知覚を組み合わせ、動かない場面の構造と変わっていく物の状態を、やりとりの履歴と根拠の観測に結んだ「世界の記録」を自動で作る。自前で撮った約100場面の記録を HoliWorld-Data に整え、約8万組の質問と答え（QA）で HoliWorld-VL-4B を学習させた。別の録画への人手の注釈は HoliWorld-Bench となり、注釈の品質と学習した力の両方を測る。静的な検出と動的な追跡が強く、学習によって空間・時間の推論が大きく伸びた、というのが要旨です。
ここでの「時系列」は数字の列ではなく、同じ物が時刻ごとにどこにあったかという列です。それが作れれば「いつ動き始めたか」「どこに置かれたか」を問えます。
比喩: 日記ではなく、家の台帳を作る
一人称の録画は一日の日記です。台所でマグを取り、居間のテーブルに置いた。日記は出来事を順に書きますが、「マグはいまどこか」「棚はベッドの右か左か」を調べるのには向きません。
Holi-World は、日記を読みながら家の台帳を作ります。動かない家具には位置と大きさの行が1つずつ、手で動かされたマグには時刻ごとの位置の欄があり、どの行にも「どのフレームで確かめたか」が付きます。台帳があれば問題集は機械的に作れます。「ベッドの後ろには何がある？」は家具の行から、「カップはどこに置かれた？」はマグの欄の最後から答えが出ます。
論文の貢献は、台帳づくりを人手なしで回す工場（Foundry）を作ったことに加え、台帳の正確さを人手の注釈で別に確かめる仕組み（Bench）と学習までを一続きにした点にあります（§1）。
全体像と下ごしらえ
全体は5つの部品です（§3.1、図2）。
| 部品 | 役割 |
|---|---|
| 撮影装置 | 左右2台のカメラと慣性センサー（IMU）を同期して記録 |
| Foundry | 場面を3Dに組み直し、動かない物と動く物に注釈を付ける |
| Data | 注釈を、位置当て・説明文・空間QAの教材に整える |
| VL | その教材で学習した4Bの視覚言語モデル |
| Bench | 学習に使わない録画への人手の注釈。工場とモデルの両方を測る |
工場は物を探す前に部屋の形を決めます（§3.2.1）。視覚と慣性を合わせた SLAM（自分の位置と地図を同時に推定する手法）でカメラの位置と向きを求め、Depth Anything 3（DA3）で奥行きを推定し、3D Gaussian Splatting（小さな色付きの楕円体を並べて場面を表す方法）で場面を作ります。こうして各時刻に、画像 、奥行き 、カメラの内部の性質 （焦点距離など）、カメラから部屋の座標への変換 がそろいます。
次に視覚言語モデル（VLM）がキーフレームから物の種類・動きの手がかり・やりとりの説明（「黒いマグを持ち上げる」など）を取り出し、種類は動かない物の検出に、動きとやりとりは追いかける対象の決定に使います。ここで物の行き先が静的と動的の2本の生産ラインに分かれます。
コメント
コメントにはログインが必要です