#world-model

24 記事

01 ·時系列データ系·★ 会員·論文·11分で読めます 論文解説: Holi-World — 一人称の録画から「部屋の台帳」を自動で作り、空間と時間の推論を教える Holi-World: Building Holistic World Intelligence from Human-Ego Experience 一人称視点の撮影装置で撮った録画から、部屋の形・置かれた物・手で動かされた物の軌跡を自動で台帳にし、約8万問の空間・時間QAに変えて4Bの視覚言語モデルを学習させる Holi-World（arXiv:2610.26549）を前提知識ゼロから解説。仕組み、実験の数字、限界までを追う。 02 ·時系列データ系·★ 会員·論文·11分で読めます 論文解説: PointWAM — 世界を「場面」と「手」の3D点の軌跡に分けて予測し、人間の動画からロボットの器用な手を学ぶ PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation 世界を「場面の点」と「手のキーポイント」に分け、両方の未来の3D軌跡を同じ座標系で予測してから、手の軌跡をロボットの動作に変換するPointWAM。人間の動画115万エピソードで事前学習し、DexJoCoの平均成功率を12.1%から69.0%へ引き上げた設計を、論文本文に沿って1から解説する。 03 ·★ 会員·論文·11分で読めます 論文解説: WorldCrafter — 見返した景色が変わらない動画世界モデルと「カメラで問い合わせる記憶」 WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory 動画世界モデルが「一度見た場所に戻ると景色が変わっている」問題に、行き先のカメラ視点で過去の記憶を読み出す暗黙的3D記憶で挑んだWorldCrafterを、前提知識ゼロから式・図・コードで解説します。 04 ·★ 会員·論文·11分で読めます 論文解説: MaP-WAM — ロボットの「記憶」を計画に変え、履歴が伸びても実行器の重さを一定に保つ Memory as Plans: World-Action Modeling with Memory-Grounded Planning 過去を覚えていないと解けないロボット作業で、長い映像履歴を毎回実行器に食わせるのをやめ、「次に何をするか」の計画に圧縮して渡す MaP-WAM を解説。進捗を行動と同時に予測して区切りを自分で判断し、RMBench 83.3%・実機78.0%を報告した設計を、論文本文に沿って1から読む。 05 ·★ 会員·論文·11分で読めます 論文解説: MiniMax-H3は物理世界を推論できるか — 全モダリティ生成モデルを「言われていないこと」で試す評価 Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model テキスト・画像・音声・動画をまとめて受け取れる生成モデルMiniMax-H3に、答えをプロンプトに書かずに「入力を突き合わせないと分からない課題」を517問解かせた評価論文。全体の成功率は41.97%で、音で状況を見分ける課題は27.40%にとどまった。 06 ·LLM — 大規模言語モデル·★ 会員·論文·11分で読めます 論文解説: Training Object Permanence in World Models — 動画モデルに「見えなくても物はそこにある」を教える Training Object Permanence in World Models 動画生成モデルは、隠れた物を消したり壁をすり抜けさせたりする。対象の永続性と固体性を測る150種のBlender課題WROPと、その合成データで追加学習した16BモデルPWM-WROPの結果を、評価方法の読み方まで含めて解説します。 07 ·★ 会員·論文·11分で読めます GE-Act 2.0 論文解説：未来を1発で描くロボット基盤モデルを、ゼロから事前学習する GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation GE-Act 2.0 とは、動画生成器の流用ではなく、操作データの上でゼロから事前学習した世界行動モデル。1回の順伝播で未来を描き切る視覚プランナと、行動と噛み合う未来だけを選ぶKASOを、100タスクのゼロショット評価で検証した論文を1から解説する。 08 ·★ 会員·論文·15分で読めます 論文解説: Puffin-World — 「上はどっちか」を覚えている世界モデル Puffin-World: Scaling a Unified Multimodal Model with Native 3D World States 画像生成モデルに「重力の向き」を持たせると何が変わるのか。Puffin-World の Omni-Camera 表現と物理伝播を、前提知識ゼロから比喩・式・動く図で解説する。 09 ·★ 会員·論文·20分で読めます 論文解説: SolarWM — 5秒で学習して1時間歩き回れる動画ワールドモデルを、データごと全部開ける SolarWM: Open Data and Scalable Training for Long-Horizon Video World Models 10個のデータセットを143万クリップの統一契約に揃える「データエンジン」と、4種類の動画生成バックボーンをそのまま活かす3段階の学習レシピ。5秒の系列だけで学習した因果モデルが、分〜時間スケールのロールアウトを続ける。 10 ·エージェント·★ 会員·論文·17分で読めます 論文解説: ZimaBlue — 12万時間の一人称動画でロボットを汎化させる ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training 行動ラベルのない一人称動画12万時間をロボット制御に変換する World Action Model の論文を1から解説。3段階カリキュラム・100次元の統一行動表現・Slow-Fast の非同期二系統で、実機ゼロショット36.1%→77.8%、制御周期33msに至るまで。 11 ·時系列データ系·★ 会員·論文·18分で読めます H3-World 論文解説：言語理解を「世界の操作」に変える手法とは H3-World: Turning Language Understanding into World Control H3-World とは、33Bの動画生成モデルを、専用のアクション機構を足さずに「操作できる世界モデル」へ変える手法。行動を文に変換し、動画潜在の時間区間に結びつけ、注意のルーティングで混線を止める。動かすのは全パラメータの0.199%だけ。 12 ·エージェント·★ 会員·論文·19分で読めます 論文解説: Code World Model — コーディングエージェントを「世界の脳」にする Code World Model: Coding Agent as World Brain 世界の「進み方」をコードに、世界の「見え方」を動画モデルに分担させる枠組み Code World Model を、前提知識ゼロから解説。粗い条件映像=プロキシという接続部の設計と、その限界まで読み解く。 13 ·エージェント·★ 会員·論文·18分で読めます 論文解説: Code as Worlds — 世界を「実行できるコード」として書き起こすエージェント Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning 物理世界を「実行できるコード」で表現し、提案→実行→描画→検証のループで観測に合う世界仮説を探すCode-as-Worldを、論文本文から解説。EWRの3成分、エージェント的発見ループ、QuantiPhyでの結果、論文が認める限界まで。 14 ·★ 会員·論文·17分で読めます 論文解説: GameWAM — ゲームの「次の景色」と「次の操作」を同時に生成する GameWAM: A World Action Model for Video Games 映像予測と操作生成を1つのモデルに担わせる World–Action Model の論文を1から解説。16手読んで8手だけ実行する block-cycle 制御と、乱数の低周波成分がカメラを勝手に回す LASI という失敗モードまで。 15 ·学習手法・アライメント·★ 会員·論文·12分で読めます 論文解説 PAWBench — 動画生成は「起こりうる未来の確率」まで当てられるのか PAWBench: How Far Are We from Probabilistically Aligned World Modeling? 動画生成モデルを世界モデルと呼ぶなら、もっともらしい1本ではなく、同じ初期状態から繰り返し生成したときの分布が正しくなければならない。PAWBench はその確率的整合を50シナリオ・11モデルで測り、どのモデルも要件を揃えられないことを示した論文です。 16 ·論文解説·★ 会員·論文·19分で読めます 論文解説: ゲーム開発を「検証できる軌跡データ工場」にする — RLHEV と AWoMo Agentic Game Development as a Verifiable Trajectory Data Engine for Scaling World Models 世界モデルに足りないのはデータでも計算でもなく「安い答え合わせ」だ、という主張の論文。ゲームエンジンの自動チェックと開発者の採否判断を組み合わせた後訓練 RLHEV を、前提知識ゼロから式・動く図・実験結果まで追う。 17 ·LLM — 大規模言語モデル·★ 会員·論文·12分で読めます スケーリング懐疑論 — 「大きくするだけ」批判の系譜 Training Compute-Optimal Large Language Models 「パラメータとデータを増やせば賢くなる」への批判を、データ枯渇・推論の壁・世界モデル論争の3方向から公平に整理します。擁護側の証拠も同じ精度で並べ、どの実験結果が出れば論争が決着するのかまで踏み込みます。 18 ·無料·論文·13分で読めます 論文解説: GigaBrain-0.7 — 3万7千時間の身体経験と「3つのシステム」で動くロボット基盤モデル GigaBrain-0.7: Scaling Embodied Foundation Models to Emergent Capabilities with a Three-System Architecture ロボット基盤モデルを「理解」「予測・評価」「行動」の3システムに分け、37,256.98時間の身体データで一段階事前学習する設計を、論文本文だけを根拠に1から解説する。未来画像と進捗値で方策を条件付ける仕組み、勾配を絞って流すSoft KI、実機での成功率まで。 19 ·無料·論文·19分で読めます 論文解説: EchoWM — 音の鳴る「入れる世界」を、カメラの意図ひとつで動かす EchoWM: Open and Enterable Omnimodal World Models 参照画像と「どう動きたいか」を渡すと、720pの映像と環境音・音楽・セリフを同時に生成し続ける世界モデル EchoWM を論文本文から解説。一人称も三人称も『カメラの意図』という1つの入力に統一する設計、データセット全体で1つに揃えた並進スケール、長時間生成を支えるシンク＋FIFOキャッシュまでを追う。 20 ·CNN・画像認識·★ 会員·論文·13分で読めます 論文解説: PhiZero — 映像を描く前に「物理の言葉」で考える世界モデル PhiZero: A World Model Built Around Physical Language ピクセルを直接予測する代わりに、動画から自己教師で学んだ離散的な「物理言語」で世界の変化を先に推論し、それから映像を描く PhiZero を論文本文から解説。トークナイザとリーズナーの二段構え、Physics-IQ Verified 首位の結果、ゼロショット動作転移、論文が認める限界まで。 21 ·エージェント·無料·論文·12分で読めます 論文解説: Mental World Modeling — 物理だけでなく「心」まで遷移させるワールドモデル Mental World Modeling シーンの物理を完璧に追えても、人の次の行動は当てられない——信念・意図・感情・規範を状態変数として持ち、行動が物理と心を同時に更新する Mental World Modeling (MWM) の定式化と、訓練不要ベースライン Mentis による8モデル検証を、論文本文から数値つきで解説する。 22 ·エージェント·無料·論文·15分で読めます 論文解説: ComBodied Agents — エージェントの「作用対象」を人そのものに置き直す ComBodied Agents: a New Paradigm of Human-Centric Agentic AI デジタルエージェントはソフトの状態を、身体エージェントは物理の状態を書き換える。では「人の状態」を第一の対象にするのは誰か。Combodied Agents は知覚・縦断記憶・Personal World Model・介入方針を1つの閉ループに束ね、成功の基準を課題達成から『主体性が保たれたか』へ移す枠組みを提案する。実験を持たない立場表明論文として、その骨格と限界を本文に沿って読む。 23 ·論文解説·★ 会員·論文·14分で読めます 論文解説: WorldClaw — テキスト1文から「歩ける・編集できる」3Dオープンワールドをエージェントが建設する WorldClaw: Agentic 3D Open-World Generation at Scale 「熱帯の海賊島」と一文入れると、歩き回れて個々の建物を後から動かせる大規模3Dワールドが出てくる——Tencent Hunyuanチームの WorldClaw を論文本文から解説。計画→地形→地域オブジェクトの3段階を専門エージェントが分担し、レンダリングして自分で検品するまでの全工程を追う。 24 ·エージェント·無料·論文·11分で読めます 論文解説: EnvACE — 環境まで自分で演じる「world rehearsal」がエージェントRLの環境不足を解く EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning ツール実行環境を一切呼ばずに、LLM自身が「行動役」と「環境役」を交互に演じて強化学習する EnvACE を論文本文から解説。役割別GRPO、テスト時の脳内リハーサル、4ベンチマークでの結果と限界まで。