#vlm

20 記事

01 ·時系列データ系·★ 会員·論文·11分で読めます 論文解説: Holi-World — 一人称の録画から「部屋の台帳」を自動で作り、空間と時間の推論を教える Holi-World: Building Holistic World Intelligence from Human-Ego Experience 一人称視点の撮影装置で撮った録画から、部屋の形・置かれた物・手で動かされた物の軌跡を自動で台帳にし、約8万問の空間・時間QAに変えて4Bの視覚言語モデルを学習させる Holi-World（arXiv:2610.26549）を前提知識ゼロから解説。仕組み、実験の数字、限界までを追う。 02 ·★ 会員·論文·8分で読めます 論文解説: SpatialBlock — 積み木の問題1.5万問で、視覚言語モデルの「空間の勘」を鍛える SpatialBlock: Enhancing Spatial Intelligence in LVLMs via Synthetic Block-Stacking Problem 実写の3D注釈を使わず、合成した積み木問題1万5千問だけで視覚言語モデルの空間推論を伸ばす論文を、データの作り方・2つの学習法・効いた要素と限界まで1から解説。 03 ·★ 会員·論文·15分で読めます 論文解説: VDiff-Bench — 最強のMLLMでも「間違い探し」の低レベル変化を見落とす VDiff-Bench: A Challenging Benchmark for Fine-Grained Image Difference Identification 「2枚の画像で何が変わったか」を4択で問うVDiff-Benchを論文本文から解説。1,756問・10カテゴリの作り方、11モデルの結果、ノイズやテクスチャの変化を『差なし』と答えてしまう失敗の構造、画像編集の自動評価に使うときの落とし穴まで。 04 ·★ 会員·論文·18分で読めます 論文解説: Reason Through the Latent! — 「潜在状態に画像情報がある」と「答えがそれを使っている」は別問題 Reason Through the Latent! Making Latent Visual Reasoning Necessary 潜在視覚推論の手法は、潜在状態を壊しても答えがほぼ変わらない＝「使われていない」ことがある。CVRR (arXiv:2609.06746) は画像を読み込んだ後の質問状態から再帰を始め、復号前に画像への抜け道をすべて塞ぐことで、潜在計算を答えに「必要な」経路にしながら性能を保った。因果介入で裏を取った論文を本文だけを根拠に解説する。 05 ·★ 会員·論文·15分で読めます 論文解説: ENEAS — 「本物そっくりの偽物」を切り分けるセグメンテーション ENEAS: Embedding-guided Neural Ensemble for Adaptive Segmentation 「person」と指示したら彫像まで切り出された——見た目は正しく意味が間違うセグメンテーションの失敗を、埋め込みフィルタと条件つきVLM判定のカスケードで直した論文を、前提知識ゼロから解説する。 06 ·エージェント·★ 会員·論文·13分で読めます 論文解説 Editable Visual Design — 画像生成を「下書き」に降格させ、成果物はHTMLで納品する Editable Visual Design 画像生成モデルを最終成果物ではなく「想像用のシミュレータ」と素材工場に降格させ、コーディングエージェントがHTML/CSSで組み直す。層が分かれ文字が本物のポスターを納品する設計を、論文本文に沿って読み解く。 07 ·★ 会員·論文·17分で読めます 論文解説: Qwen-Drive-1.0 — VLMの形を変えずに、3D知覚と運転計画を「外付け」する Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving 事前学習済みVLMの構造を変えず、BEV知覚ヘッドとPlanning Expertを外付けするだけで3D検出・オキュパンシー・地図・軌跡生成を統合。汎用能力をほぼ落とさずNAVSIM PDMS 90.7を出した設計を、論文本文に沿って解説する。 08 ·エージェント·★ 会員·論文·18分で読めます 論文解説: Code as Worlds — 世界を「実行できるコード」として書き起こすエージェント Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning 物理世界を「実行できるコード」で表現し、提案→実行→描画→検証のループで観測に合う世界仮説を探すCode-as-Worldを、論文本文から解説。EWRの3成分、エージェント的発見ループ、QuantiPhyでの結果、論文が認める限界まで。 09 ·VLM・マルチモーダル·★ 会員·論文·10分で読めます 動画理解を1から — フレームの束から時間の理解へ Is Space-Time Attention All You Need for Video Understanding? (TimeSformer) 動画は「画像がたくさん」ではない。何枚をどう選ぶか（サンプリング）、フレーム同士をどう混ぜるか（時間注意）、長い動画をどう縮めるか（圧縮）の3つの問いに分けて、前提知識ゼロから式・動く図・コードで解説する。 10 ·エージェント·★ 会員·論文·18分で読めます 論文解説: Embodied-Navigator（TAMP-Nav） — VLMに「指を差させる」と、ナビゲーションは速く強くなる Embodied-Navigator: Point, Think, Memorize, and Align for Efficient Navigation 3D座標を出させる代わりにVLMへ2Dピクセルを「指差し」させ、考える場所と憶える場所を絞り、二段のGRPOで揃える。R2R-CEで成功率66.2%、1タスク16.58秒を9万本の軌跡だけで達成した設計を、論文本文に沿って1から解説する。 11 ·VLM・マルチモーダル·★ 会員·論文·11分で読めます 文書理解とOCRのいま — 帳票をLLMが読むまで LayoutLM: Pre-training of Text and Layout for Document Image Understanding 請求書やスキャンPDFを機械が読むまでを1から。テキスト検出とCTC、誤りの測り方（CER）から、レイアウトを座標ごと埋め込むLayoutLM系、OCRを丸ごと捨てるDonut系、そして画像をそのままLLMに渡す現在までを、表・手書き・幻覚という実務の壁とあわせて解説する。 12 ·無料·論文·15分で読めます 論文解説 SemComp-Bench — 動画生成に「で、結局できたのか」を突きつける SemComp-Bench: Benchmarking Semantic Task Completion in Video Generation 動画生成の評価を「きれいか」から「指示した結果に到達したか」へ移した SemComp-Bench を、タスク定義・データ構築の4段パイプライン・ANDで束ねる採点式・実測値まで、論文本文に沿って読み解きます。 13 ·無料·論文·15分で読めます 論文解説: S²VOPD — 教師を強くする代わりに、生徒の目を曇らせる Self-Supervised Visual On-Policy Distillation 正解ラベルも報酬も強い教師も使わずに視覚VLMを伸ばす S²VOPD を、論文本文に沿って解説。生徒側の画像だけを劣化させて「情報の非対称性」を作る反転の発想と、効く拡張・効かない拡張の切り分けを扱う。 14 ·エージェント·★ 会員·論文·18分で読めます 論文解説: Co-RL — 正解ラベルなしでも、群れの多様性から推論が立ち上がる Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL 自分の答えを自分で採点し続けるとモデルは崩壊する。Co-RLは「隣のエージェントの多数決」を報酬にしてその輪を断ち切り、正解ラベルを一切使わずに教師あり学習に並ぶ。仕組み・力学の証明・実験値・落とし穴まで論文本文から解説する。 15 ·VLM・マルチモーダル·★ 会員·論文·10分で読めます VLMの成立と現在 — 視覚エンコーダとLLMをどう繋ぐか Learning Transferable Visual Models From Natural Language Supervision 画像を読めるLLM=VLMは「視覚エンコーダ＋投影層＋LLM」の3部品でできている。CLIPが架けた橋から、投影層の3流派、解像度戦略とトークン数の綱引き、実装で詰まる制約までを1から解説。 16 ·CNN・画像認識·★ 会員·論文·13分で読めます 論文解説: PhiZero — 映像を描く前に「物理の言葉」で考える世界モデル PhiZero: A World Model Built Around Physical Language ピクセルを直接予測する代わりに、動画から自己教師で学んだ離散的な「物理言語」で世界の変化を先に推論し、それから映像を描く PhiZero を論文本文から解説。トークナイザとリーズナーの二段構え、Physics-IQ Verified 首位の結果、ゼロショット動作転移、論文が認める限界まで。 17 ·エージェント·無料·論文·12分で読めます 論文解説: OSReward — AIの「採点者」は信用できるか。コンピュータ操作エージェントの報酬を測り直す OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models PCやスマホを操作するAIエージェントの成否を判定する「VLM審判」は、実は失敗を成功と誤認する甘さバイアスを共有していた——1019本の人手検証済み軌跡でこれを暴き、30〜60倍安い公開報酬モデルOS-Shepherdで埋める論文を、前提知識ゼロから解説する。 18 ·無料·論文·11分で読めます 論文解説: Hunyuan3D-Buffalo 1.0 — 理解・生成・編集を1つの脳に束ねる3D統合マルチモーダルモデル Hunyuan3D-Buffalo 1.0: A Unified Multimodal Model for Scalable 3D Generation, Understanding, and Editing 3D形状を言葉で説明する・テキストから作る・指示で編集する・部品を切り出す——4つの仕事を1つのモデルで行うTencent HunyuanのHunyuan3D-Buffalo 1.0を論文本文から解説。87Mサンプルのデータ工場Nano3D-v2と、「生成力を鍛えると編集が上手くなる」という相乗効果の発見まで追う。 19 ·無料·論文·10分で読めます 論文解説: GST-Bench — VLMは動画から「空間の全体像」を掴めるか GST-Bench: Can VLMs Develop Global Spatial Awareness from Video? 部屋を一周した動画を見せたあと「いま君がいる場所から、さっきのソファはどっち？」と聞くと、最強のVLMでも人間の半分ほどしか答えられない——ByteDance SeedらのGST-Benchを論文本文から解説。ズルを封じるベンチマーク設計、22モデルの結果、そして訓練データで27点伸びた話まで。 20 ·無料·論文·12分で読めます 論文解説: DEFT-RLVR — 自動運転VLMに未来の軌跡を「先に見せる」と推論が捏造される Deferred Exposure of Future Trajectories for Verifiable Reasoning in Autonomous Driving VLMs 自動運転VLMのCoT教師データ作成で正解軌跡を先に見せると、教師は理由を後付けし幻覚が29%→50%に倍増する——この「軌跡アンカリングバイアス」を実証し、走行計画を選択問題化(AD-MCQ)して軌跡の開示を決断の後に遅延させる強化学習 DEFT-RLVR (arXiv:2608.01755) を論文本文だけを根拠に解説する。