学生版 社会人版
JA EN

#vlm

14 記事

01 ·★ 会員·論文·17分で読めます 論文解説: Qwen-Drive-1.0 — VLMの形を変えずに、3D知覚と運転計画を「外付け」する Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving 事前学習済みVLMの構造を変えず、BEV知覚ヘッドとPlanning Expertを外付けするだけで3D検出・オキュパンシー・地図・軌跡生成を統合。汎用能力をほぼ落とさずNAVSIM PDMS 90.7を出した設計を、論文本文に沿って解説する。 02 ·エージェント·★ 会員·論文·18分で読めます 論文解説: Code as Worlds — 世界を「実行できるコード」として書き起こすエージェント Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning 物理世界を「実行できるコード」で表現し、提案→実行→描画→検証のループで観測に合う世界仮説を探すCode-as-Worldを、論文本文から解説。EWRの3成分、エージェント的発見ループ、QuantiPhyでの結果、論文が認める限界まで。 03 ·VLM・マルチモーダル·★ 会員·論文·10分で読めます 動画理解を1から — フレームの束から時間の理解へ Is Space-Time Attention All You Need for Video Understanding? (TimeSformer) 動画は「画像がたくさん」ではない。何枚をどう選ぶか（サンプリング）、フレーム同士をどう混ぜるか（時間注意）、長い動画をどう縮めるか（圧縮）の3つの問いに分けて、前提知識ゼロから式・動く図・コードで解説する。 04 ·エージェント·★ 会員·論文·18分で読めます 論文解説: Embodied-Navigator（TAMP-Nav） — VLMに「指を差させる」と、ナビゲーションは速く強くなる Embodied-Navigator: Point, Think, Memorize, and Align for Efficient Navigation 3D座標を出させる代わりにVLMへ2Dピクセルを「指差し」させ、考える場所と憶える場所を絞り、二段のGRPOで揃える。R2R-CEで成功率66.2%、1タスク16.58秒を9万本の軌跡だけで達成した設計を、論文本文に沿って1から解説する。 05 ·VLM・マルチモーダル·★ 会員·論文·11分で読めます 文書理解とOCRのいま — 帳票をLLMが読むまで LayoutLM: Pre-training of Text and Layout for Document Image Understanding 請求書やスキャンPDFを機械が読むまでを1から。テキスト検出とCTC、誤りの測り方（CER）から、レイアウトを座標ごと埋め込むLayoutLM系、OCRを丸ごと捨てるDonut系、そして画像をそのままLLMに渡す現在までを、表・手書き・幻覚という実務の壁とあわせて解説する。 06 ·★ 会員·論文·15分で読めます 論文解説 SemComp-Bench — 動画生成に「で、結局できたのか」を突きつける SemComp-Bench: Benchmarking Semantic Task Completion in Video Generation 動画生成の評価を「きれいか」から「指示した結果に到達したか」へ移した SemComp-Bench を、タスク定義・データ構築の4段パイプライン・ANDで束ねる採点式・実測値まで、論文本文に沿って読み解きます。 07 ·★ 会員·論文·15分で読めます 論文解説: S²VOPD — 教師を強くする代わりに、生徒の目を曇らせる Self-Supervised Visual On-Policy Distillation 正解ラベルも報酬も強い教師も使わずに視覚VLMを伸ばす S²VOPD を、論文本文に沿って解説。生徒側の画像だけを劣化させて「情報の非対称性」を作る反転の発想と、効く拡張・効かない拡張の切り分けを扱う。 08 ·エージェント·★ 会員·論文·18分で読めます 論文解説: Co-RL — 正解ラベルなしでも、群れの多様性から推論が立ち上がる Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL 自分の答えを自分で採点し続けるとモデルは崩壊する。Co-RLは「隣のエージェントの多数決」を報酬にしてその輪を断ち切り、正解ラベルを一切使わずに教師あり学習に並ぶ。仕組み・力学の証明・実験値・落とし穴まで論文本文から解説する。 09 ·VLM・マルチモーダル·★ 会員·論文·10分で読めます VLMの成立と現在 — 視覚エンコーダとLLMをどう繋ぐか Learning Transferable Visual Models From Natural Language Supervision 画像を読めるLLM=VLMは「視覚エンコーダ＋投影層＋LLM」の3部品でできている。CLIPが架けた橋から、投影層の3流派、解像度戦略とトークン数の綱引き、実装で詰まる制約までを1から解説。 10 ·CNN・画像認識·★ 会員·論文·13分で読めます 論文解説: PhiZero — 映像を描く前に「物理の言葉」で考える世界モデル PhiZero: A World Model Built Around Physical Language ピクセルを直接予測する代わりに、動画から自己教師で学んだ離散的な「物理言語」で世界の変化を先に推論し、それから映像を描く PhiZero を論文本文から解説。トークナイザとリーズナーの二段構え、Physics-IQ Verified 首位の結果、ゼロショット動作転移、論文が認める限界まで。 11 ·エージェント·★ 会員·論文·12分で読めます 論文解説: OSReward — AIの「採点者」は信用できるか。コンピュータ操作エージェントの報酬を測り直す OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models PCやスマホを操作するAIエージェントの成否を判定する「VLM審判」は、実は失敗を成功と誤認する甘さバイアスを共有していた——1019本の人手検証済み軌跡でこれを暴き、30〜60倍安い公開報酬モデルOS-Shepherdで埋める論文を、前提知識ゼロから解説する。 12 ·★ 会員·論文·11分で読めます 論文解説: Hunyuan3D-Buffalo 1.0 — 理解・生成・編集を1つの脳に束ねる3D統合マルチモーダルモデル Hunyuan3D-Buffalo 1.0: A Unified Multimodal Model for Scalable 3D Generation, Understanding, and Editing 3D形状を言葉で説明する・テキストから作る・指示で編集する・部品を切り出す——4つの仕事を1つのモデルで行うTencent HunyuanのHunyuan3D-Buffalo 1.0を論文本文から解説。87Mサンプルのデータ工場Nano3D-v2と、「生成力を鍛えると編集が上手くなる」という相乗効果の発見まで追う。 13 ·★ 会員·論文·10分で読めます 論文解説: GST-Bench — VLMは動画から「空間の全体像」を掴めるか GST-Bench: Can VLMs Develop Global Spatial Awareness from Video? 部屋を一周した動画を見せたあと「いま君がいる場所から、さっきのソファはどっち？」と聞くと、最強のVLMでも人間の半分ほどしか答えられない——ByteDance SeedらのGST-Benchを論文本文から解説。ズルを封じるベンチマーク設計、22モデルの結果、そして訓練データで27点伸びた話まで。 14 ·★ 会員·論文·12分で読めます 論文解説: DEFT-RLVR — 自動運転VLMに未来の軌跡を「先に見せる」と推論が捏造される Deferred Exposure of Future Trajectories for Verifiable Reasoning in Autonomous Driving VLMs 自動運転VLMのCoT教師データ作成で正解軌跡を先に見せると、教師は理由を後付けし幻覚が29%→50%に倍増する——この「軌跡アンカリングバイアス」を実証し、走行計画を選択問題化(AD-MCQ)して軌跡の開示を決断の後に遅延させる強化学習 DEFT-RLVR (arXiv:2608.01755) を論文本文だけを根拠に解説する。