#image

94 記事

01 ·時系列データ系·★ 会員·論文·9分で読めます 論文解説: Video Generation Models: A Survey of Post-Training and Alignment — 動画生成AIを「言うことを聞く」ようにする4つの道具箱 Video Generation Models: A Survey of Post-Training and Alignment 事前学習済みの動画生成モデルを作り直さずに「指示どおり・時間的に一貫・物理的にもっともらしく・安全」へ寄せる後学習を、教師あり微調整・自己学習と蒸留・選好と報酬・推論時の4系統で整理したサーベイを、前提知識なしで読み解きます。 02 ·★ 会員·論文·11分で読めます 論文解説: WorldCrafter — 見返した景色が変わらない動画世界モデルと「カメラで問い合わせる記憶」 WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory 動画世界モデルが「一度見た場所に戻ると景色が変わっている」問題に、行き先のカメラ視点で過去の記憶を読み出す暗黙的3D記憶で挑んだWorldCrafterを、前提知識ゼロから式・図・コードで解説します。 03 ·推論・高速化·★ 会員·論文·10分で読めます 論文解説: RewardVerse — 採点表を先に作ってから動画を採点する報酬モデル（RGPO） RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling 動画の報酬モデルは、点数が狭い範囲に固まったり言い回しでずれたりする（スカラードリフト）。RewardVerseは採点前に評価ルーブリックを生成し、項目ごとにトークン確率から連続スコアを読む。2段階のRGPOで、1観点30ペアだけで学習する。 04 ·論文解説·★ 会員·論文·9分で読めます 論文解説: RayOrch — 親子関係を保ったままGPUで束ねる、基盤モデル用データ前処理エンジン RayOrch: Programming and Executing Lineage-Controlled Multi-Grain Dataflows for Foundation-Model Data Preparation PDFをページに、動画をクリップに分けてGPUでまとめ処理しつつ、結果を正しい親へ正しい順で戻す。その「系譜」をアプリではなく実行エンジンが持つRayOrchを、用語・状態遷移・実験数値まで1から解説。 05 ·★ 会員·論文·9分で読めます 論文解説: Realtime-Venus — 話しながら裏で仕事を回す「全二重＋非同期委譲」の対話AI Realtime-Venus: A full-duplex interaction system with asynchronous delegation 聞く・話す・裏で調べるを同じ1秒刻みの時間軸に載せ、会話を止めずに外部ツールへ仕事を委ねる9Bモデル群とハーネスの設計を、比喩と式と擬似コードで1から解説する。 06 ·★ 会員·論文·11分で読めます 論文解説: MaP-WAM — ロボットの「記憶」を計画に変え、履歴が伸びても実行器の重さを一定に保つ Memory as Plans: World-Action Modeling with Memory-Grounded Planning 過去を覚えていないと解けないロボット作業で、長い映像履歴を毎回実行器に食わせるのをやめ、「次に何をするか」の計画に圧縮して渡す MaP-WAM を解説。進捗を行動と同時に予測して区切りを自分で判断し、RMBench 83.3%・実機78.0%を報告した設計を、論文本文に沿って1から読む。 07 ·★ 会員·論文·11分で読めます 論文解説: MiniMax-H3は物理世界を推論できるか — 全モダリティ生成モデルを「言われていないこと」で試す評価 Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model テキスト・画像・音声・動画をまとめて受け取れる生成モデルMiniMax-H3に、答えをプロンプトに書かずに「入力を突き合わせないと分からない課題」を517問解かせた評価論文。全体の成功率は41.97%で、音で状況を見分ける課題は27.40%にとどまった。 08 ·★ 会員·論文·13分で読めます 論文解説: LIT — ロボットが「見た目の手がかり」でズルをしないように、視覚の通り道を1本に絞る Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models ロボット基盤モデルは訓練時の背景や照明といった無関係な手がかりに頼って動きを覚えてしまう。LITは画像なしで「行き先付きの動き」を先に学ばせ、視覚は姿勢を当てる潜在トークン経由でしか渡さない2段階学習で、4種のモデルすべてのLIBERO-Plus成功率を上げた。 09 ·学習手法・アライメント·★ 会員·論文·11分で読めます 論文解説: WanPE — 動画生成のプロンプトを「監督の撮影計画」に変える WanPE: Towards Cinematic Prompt Enhancement for Modern Text-to-Video Generation 短い依頼文を、ショットごとのカメラ・照明・音まで決めた撮影計画に書き直すモデルWanPE。実動画から逆向きに教師データを作る発想と、要求の取りこぼしを罰する強化学習SC-GRPOを前提知識ゼロから解説します。 10 ·★ 会員·論文·8分で読めます 論文解説: SpatialBlock — 積み木の問題1.5万問で、視覚言語モデルの「空間の勘」を鍛える SpatialBlock: Enhancing Spatial Intelligence in LVLMs via Synthetic Block-Stacking Problem 実写の3D注釈を使わず、合成した積み木問題1万5千問だけで視覚言語モデルの空間推論を伸ばす論文を、データの作り方・2つの学習法・効いた要素と限界まで1から解説。 11 ·★ 会員·論文·8分で読めます 論文解説: Mi-Ripple — AI画像編集を繰り返すと出る「さざ波」を、診断してから直す Mi-Ripple: Restoring Images Degraded by Iterative AI Editing AIで編集した画像を参照にしてまた編集する——これを繰り返すと格子状・粒状のノイズ（デジタルリップル）が溜まる。Mi-Rippleは「周波数で切り離せる格子」と「絵の中身に絡んだ粒」を先に見分け、ノッチフィルタか、参照を掃除してからの再生成かを選ぶ修復手順を示した。 12 ·LLM — 大規模言語モデル·★ 会員·論文·11分で読めます 論文解説: Training Object Permanence in World Models — 動画モデルに「見えなくても物はそこにある」を教える Training Object Permanence in World Models 動画生成モデルは、隠れた物を消したり壁をすり抜けさせたりする。対象の永続性と固体性を測る150種のBlender課題WROPと、その合成データで追加学習した16BモデルPWM-WROPの結果を、評価方法の読み方まで含めて解説します。 13 ·★ 会員·論文·11分で読めます 論文解説: SenseNova-U1.5 — エンコーダもVAEも使わず、1つのモデルで「見る」と「描く」を両立する SenseNova-U1.5: Towards Native Unified Visual Intelligence 画像理解用のエンコーダも生成用のVAEも持たず、ピクセルと言葉から直接学ぶ8Bの統合モデル SenseNova-U1.5。パッチの継ぎ目を消す空間デコーダと、「専門家を別々に鍛えてから1つに蒸留する」後学習を、論文本文に沿って1から解説する。 14 ·RAG・検索拡張·★ 会員·論文·10分で読めます 論文解説: Ovis-Embedding — 文字・画像・動画・音声を1つの物差しで測る埋め込みモデル Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings テキスト・画像・動画・音声を同じベクトル空間に置く埋め込みモデル群 Ovis-Embedding を、比喩→式→動く図→コードの順で1から解説。4段階の学習手順、ベクトルを短く切っても精度を保つ工夫、論文が示していない点まで整理する。 15 ·RAG・検索拡張·★ 会員·論文·9分で読めます 論文解説: D-RAC — PDFに正規化し、画像を1回だけ読んでMarkdown化するRAG取り込み Document Retrieval-Aware Chunking (D-RAC): Universal Retrieval-Aware Ingestion of Enterprise Documents via PDF Normalization and Multimodal Markdown Conversion 社内のPDF・Word・スライドをまずPDFにそろえ、マルチモーダルLLMで1回だけMarkdown化し、あとはIDだけでチャンクを決める取り込み手法D-RACを、前提知識なしで解説します。 16 ·推論・高速化·★ 会員·論文·9分で読めます 論文解説: IntBMoE — 全専門家を「参加」させつつ、計算は少数ブロックだけで済ませるMoE IntBMoE: Integrating Block-Level Conditioning into Expert Composition for Full-Participation Mixture-of-Experts MoEの「何人の専門家が知識を出すか」「何人分を計算するか」「何人分の重みを作って置くか」は、これまで独立に決められなかった。専門家の合成とブロックの疎な実行を分けてこれを解いた IntBMoE (arXiv:2609.21346) を、論文本文だけを根拠に1から解説する。 17 ·★ 会員·論文·15分で読めます 論文解説: VDiff-Bench — 最強のMLLMでも「間違い探し」の低レベル変化を見落とす VDiff-Bench: A Challenging Benchmark for Fine-Grained Image Difference Identification 「2枚の画像で何が変わったか」を4択で問うVDiff-Benchを論文本文から解説。1,756問・10カテゴリの作り方、11モデルの結果、ノイズやテクスチャの変化を『差なし』と答えてしまう失敗の構造、画像編集の自動評価に使うときの落とし穴まで。 18 ·★ 会員·論文·18分で読めます 論文解説: Reason Through the Latent! — 「潜在状態に画像情報がある」と「答えがそれを使っている」は別問題 Reason Through the Latent! Making Latent Visual Reasoning Necessary 潜在視覚推論の手法は、潜在状態を壊しても答えがほぼ変わらない＝「使われていない」ことがある。CVRR (arXiv:2609.06746) は画像を読み込んだ後の質問状態から再帰を始め、復号前に画像への抜け道をすべて塞ぐことで、潜在計算を答えに「必要な」経路にしながら性能を保った。因果介入で裏を取った論文を本文だけを根拠に解説する。 19 ·★ 会員·論文·15分で読めます 論文解説: SceneMosaic — 画像から「物理的に正しい部屋」を数分で、しかも何通りも作る混成エージェント法 SceneMosaic: Efficient and Diverse Simulation-Ready Scene Generation via Hybrid Agentic Layout Evolution 1枚の部屋の画像から、ロボット学習やゲームにそのまま使える3Dシーンを、物理的な矛盾なしに・数時間ではなく数分で・家具配置のバリエーション付きで作る手法の解説。画像モデルの「速さ」とVLMエージェントの「正確さ」をどう繋いだかを、数式と動く図で読み解く。 20 ·★ 会員·論文·24分で読めます 論文解説: Miles v0.1 — 「本番で回るポストトレーニング基盤」を解剖する Miles v0.1: Production-Level Post-Training 巨大MoEをエージェント的RLで後追い学習させるための全部入りシステムMilesを、論文本文から解説。生成側と学習側の「数値のズレ」をどう潰すか、744Bモデルを64GPUで回した実測はどうだったかまで。 21 ·★ 会員·論文·17分で読めます 論文解説: Mask Forcing — 自己回帰動画拡散の蒸留を「二重ノイズのマスク」で改善する Mask Forcing: Improving Autoregressive Video Diffusion Distillation via Dual-Noise Masking Rollout リアルタイム動画生成の要である自己回帰(AR)動画拡散モデルの蒸留で、色が飽和し細部がのっぺりする「モード崩壊」を、生徒の自己ロールアウトにランダムマスクで少しきれいな信号を混ぜるだけで緩和する手法。実データも追加学習段階も不要。 22 ·★ 会員·論文·12分で読めます 論文解説 Marigold V2 — 画像編集モデルを、32GB GPU 1枚で最強の深度推定器に変える Marigold V2: Revisiting Diffusion Transformers for Monocular Depth Estimation 画像編集用の拡散トランスフォーマ(Qwen-Image-Edit)を、QLoRAと2つの新しい損失だけで最先端の単眼深度推定器に作り替えた論文を、正規化・1ステップ推論・iREPA・SinkLossの順に1から解説します。 23 ·★ 会員·論文·11分で読めます GE-Act 2.0 論文解説：未来を1発で描くロボット基盤モデルを、ゼロから事前学習する GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation GE-Act 2.0 とは、動画生成器の流用ではなく、操作データの上でゼロから事前学習した世界行動モデル。1回の順伝播で未来を描き切る視覚プランナと、行動と噛み合う未来だけを選ぶKASOを、100タスクのゼロショット評価で検証した論文を1から解説する。 24 ·★ 会員·論文·15分で読めます 論文解説: ENEAS — 「本物そっくりの偽物」を切り分けるセグメンテーション ENEAS: Embedding-guided Neural Ensemble for Adaptive Segmentation 「person」と指示したら彫像まで切り出された——見た目は正しく意味が間違うセグメンテーションの失敗を、埋め込みフィルタと条件つきVLM判定のカスケードで直した論文を、前提知識ゼロから解説する。 25 ·エージェント·★ 会員·論文·13分で読めます 論文解説 Editable Visual Design — 画像生成を「下書き」に降格させ、成果物はHTMLで納品する Editable Visual Design 画像生成モデルを最終成果物ではなく「想像用のシミュレータ」と素材工場に降格させ、コーディングエージェントがHTML/CSSで組み直す。層が分かれ文字が本物のポスターを納品する設計を、論文本文に沿って読み解く。 26 ·★ 会員·論文·14分で読めます 論文解説 Beyond Retrieval — 取り出した映像を「潜在メモリ」に取り込むLatentStream Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding 流れ続ける動画に対し、過去の証拠を外部コンテキストとして足すのではなく、固定長の潜在メモリトークンへ内面化する枠組みLatentStream。階層メモリ・潜在メモリ進化・自信ベースのテスト時最適化を、論文本文に沿って1から解説する。 27 ·★ 会員·論文·12分で読めます 論文解説: ピクセル文字表現学習の設計原則 — 文書を「読まずに見る」エンコーダは何で決まるか On the Design Fundamentals of Pixel Text Representation Learning 文字をコードに変換せず、画像のまま意味を掴むエンコーダ。その性能を決めるのはデータ量ではなく4つの設計原則だと示した EMNLP 2026 の論文を、前提知識ゼロから解説する。 28 ·★ 会員·論文·21分で読めます 論文解説 The Missing Temporal Link — 台本の「時刻」を映像と音声の時間軸に載せるTemporal Context Routing The Missing Temporal Link: Temporal Context Routing for Script-Driven Audio-Video Generation 映像と音声は互いに同期しているのに、台本の指定時刻からは2人そろってずれる — この見落とされた3本目の時間軸を、クロスアテンションのロジットに足す1本の式だけで埋めたTCRを、原論文の式と実験値に沿って1から解説する。 29 ·論文解説·★ 会員·論文·15分で読めます 論文解説 RoboTok — ネット動画から「手の動きが似た手本」を掘り出すデータエンジン RoboTok: An Internet-Scale Data Engine for Human Demonstration Retrieval and Dexterous Manipulation Learning ネット上の人間の動画から「手の動きが似ている手本」だけを引き当てるデータエンジン RoboTok（arXiv:2609.03199）を、前提知識ゼロから解説。DTWで似た動きを定義し、その順位を埋め込みに蒸留して内積検索に落とす設計と、実験結果・限界までを追う。 30 ·★ 会員·論文·15分で読めます 論文解説: Puffin-World — 「上はどっちか」を覚えている世界モデル Puffin-World: Scaling a Unified Multimodal Model with Native 3D World States 画像生成モデルに「重力の向き」を持たせると何が変わるのか。Puffin-World の Omni-Camera 表現と物理伝播を、前提知識ゼロから比喩・式・動く図で解説する。 31 ·★ 会員·論文·12分で読めます 論文解説: LLaDA-Image — 画像だけで土台を作り、2〜4ステップまで蒸留する完全公開レシピ LLaDA-Image: Building Strong Image Generators with Fully Open Training Recipes 画像とテキストの対データに頼らず、まず「画像だけ」で生成の土台を作る学習レシピ。6BのDiTをゼロから訓練し2〜4ステップ推論まで蒸留した LLaDA-Image を、論文本文の設計判断に沿って1から解説する。 32 ·推論・高速化·★ 会員·論文·18分で読めます 論文解説: LatentPress — 圧縮した文脈を、テキストにも画像にも戻さずLLMに直接読ませる LatentPress: Context Compression Beyond Text and Vision 長い会話履歴や文書を「テキストの要約」でも「画像」でもなく、凍結したLLMがそのまま読める連続ベクトル（ソフトトークン）に書き込む手法。LongMemEvalで7.70倍圧縮しながら非圧縮を上回った論文を、前提知識ゼロから解説する。 33 ·★ 会員·論文·20分で読めます 論文解説: SolarWM — 5秒で学習して1時間歩き回れる動画ワールドモデルを、データごと全部開ける SolarWM: Open Data and Scalable Training for Long-Horizon Video World Models 10個のデータセットを143万クリップの統一契約に揃える「データエンジン」と、4種類の動画生成バックボーンをそのまま活かす3段階の学習レシピ。5秒の系列だけで学習した因果モデルが、分〜時間スケールのロールアウトを続ける。 34 ·エージェント·★ 会員·論文·17分で読めます 論文解説: ZimaBlue — 12万時間の一人称動画でロボットを汎化させる ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training 行動ラベルのない一人称動画12万時間をロボット制御に変換する World Action Model の論文を1から解説。3段階カリキュラム・100次元の統一行動表現・Slow-Fast の非同期二系統で、実機ゼロショット36.1%→77.8%、制御周期33msに至るまで。 35 ·エージェント·★ 会員·論文·13分で読めます 論文解説 UrbanGround: 街に降ろされたMLLMエージェントは、どこで崩れるのか UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City 香港の全域3D地理データから作った実スケールの街に、MLLMエージェントを一人称で降ろす。視覚認識は9割、方位理解は4割、長距離ナビはほぼ0%。「見える」と「動ける」の断絶を測ったベンチマーク論文を1から解説する。 36 ·エージェント·★ 会員·論文·19分で読めます 論文解説: UI-Venus-2 — 画面を見て操作するAIを、ベンチマークから実運用へ UI-Venus-2 Technical Report スマホ・ブラウザ・デスクトップを画面だけ見て操作するGUIエージェント UI-Venus-2 の技術報告書を、前提知識ゼロから解説。環境・タスク・検証を同時に広げる設計と、その限界までを論文本文だけを根拠に読む。 37 ·★ 会員·論文·20分で読めます 論文解説: 直近12フレームだけを見る超長尺3D復元 — Revisiting Local Context for Long-Horizon Streaming 3D Reconstruction Revisiting Local Context for Long-Horizon Streaming 3D Reconstruction 1万フレームを超える動画からカメラ軌跡と3D形状をその場で作り続ける課題に対し、長距離メモリを一切持たず「直近12フレーム」だけで戦う ABot-Recon を、前提知識ゼロから解説する。 38 ·★ 会員·論文·17分で読めます 論文解説: Qwen-Drive-1.0 — VLMの形を変えずに、3D知覚と運転計画を「外付け」する Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving 事前学習済みVLMの構造を変えず、BEV知覚ヘッドとPlanning Expertを外付けするだけで3D検出・オキュパンシー・地図・軌跡生成を統合。汎用能力をほぼ落とさずNAVSIM PDMS 90.7を出した設計を、論文本文に沿って解説する。 39 ·時系列データ系·★ 会員·論文·18分で読めます H3-World 論文解説：言語理解を「世界の操作」に変える手法とは H3-World: Turning Language Understanding into World Control H3-World とは、33Bの動画生成モデルを、専用のアクション機構を足さずに「操作できる世界モデル」へ変える手法。行動を文に変換し、動画潜在の時間区間に結びつけ、注意のルーティングで混線を止める。動かすのは全パラメータの0.199%だけ。 40 ·エージェント·★ 会員·論文·19分で読めます 論文解説: Code World Model — コーディングエージェントを「世界の脳」にする Code World Model: Coding Agent as World Brain 世界の「進み方」をコードに、世界の「見え方」を動画モデルに分担させる枠組み Code World Model を、前提知識ゼロから解説。粗い条件映像=プロキシという接続部の設計と、その限界まで読み解く。 41 ·エージェント·★ 会員·論文·18分で読めます 論文解説: Code as Worlds — 世界を「実行できるコード」として書き起こすエージェント Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning 物理世界を「実行できるコード」で表現し、提案→実行→描画→検証のループで観測に合う世界仮説を探すCode-as-Worldを、論文本文から解説。EWRの3成分、エージェント的発見ループ、QuantiPhyでの結果、論文が認める限界まで。 42 ·★ 会員·論文·29分で読めます 論文解説 Lucida — 部屋の動画を「動かせる部品」に戻す。精度を最後に回すという発想 Lucida: Parse, Generate, and Place for Composable Real-to-Sim Scene Modeling 実際の部屋を撮った動画から、個別に動かせる3Dアセットの集まりとして部屋を復元する研究。「解析→生成→配置」の順序は保ったまま、各段階に要求する精度を組み替え、最後の配置をVLMのGUI操作エージェントに閉ループで解かせる。 43 ·★ 会員·論文·19分で読めます 論文解説: DreamX-Creator — 音と映像を「同時に」作る7Bモデルと、2Kへの1ステップ仕上げ DreamX-Creator: Democratizing Native Audio-Video Generation at 2K Resolution 音声と映像を1つの生成過程で同時に denoise する7Bモデルの論文を、前提知識ゼロから解説。ゲート付き交差注意・モダリティ別の強化学習・1ステップ2K仕上げの3点と、著者自身が置いている重い留保まで読む。 44 ·★ 会員·論文·17分で読めます 論文解説: GameWAM — ゲームの「次の景色」と「次の操作」を同時に生成する GameWAM: A World Action Model for Video Games 映像予測と操作生成を1つのモデルに担わせる World–Action Model の論文を1から解説。16手読んで8手だけ実行する block-cycle 制御と、乱数の低周波成分がカメラを勝手に回す LASI という失敗モードまで。 45 ·★ 会員·論文·14分で読めます 論文解説: Beyond Data Scaling — ロボット基盤モデルは「データ量」より「表現」で決まる(VLAct) Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models ロボットの軌跡データはWebのように集められない。ならば限られた軌跡から「使い回せる表現」を絞り出すべきだ、という主張の論文。VLM事前分布の保護・複数ヘッド同時監督・身体をまたいだ部分統一の3点で、16GPU・全部オープンデータのまま産業系VLAを上回った。 46 ·学習手法・アライメント·★ 会員·論文·12分で読めます 論文解説 PAWBench — 動画生成は「起こりうる未来の確率」まで当てられるのか PAWBench: How Far Are We from Probabilistically Aligned World Modeling? 動画生成モデルを世界モデルと呼ぶなら、もっともらしい1本ではなく、同じ初期状態から繰り返し生成したときの分布が正しくなければならない。PAWBench はその確率的整合を50シナリオ・11モデルで測り、どのモデルも要件を揃えられないことを示した論文です。 47 ·無料·論文·11分で読めます 論文解説: VGI-Bench — 動画生成モデルは「途中経過」まで正しく描けるのか VGI-Bench: Probing Visual Intelligence in Video Generation Models 動画生成モデルを「視覚で考える機械」として測るベンチマーク VGI-Bench の設計と結果を、前提知識ゼロから解説。最強の Seedance 2.0 でも 51.0 にとどまり、デノイズ途中の自己修正はほぼ起きないという測定結果までを追う。 48 ·無料·論文·21分で読めます 論文解説: VBVR-Pro — 「絵で考える」AIを、訓練でき・採点でき・比較できるようにした実験場 VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning 画像や動画の生成そのものを「思考の場」として扱うネイティブ視覚推論。VBVR-Proは300個の手続き生成タスクと、VLM審判に頼らない決定論的な採点器を用意し、画像・動画・インターリーブ生成を同じ土俵で比較した。前提知識ゼロから読める解説。 49 ·論文解説·★ 会員·論文·19分で読めます 論文解説: ゲーム開発を「検証できる軌跡データ工場」にする — RLHEV と AWoMo Agentic Game Development as a Verifiable Trajectory Data Engine for Scaling World Models 世界モデルに足りないのはデータでも計算でもなく「安い答え合わせ」だ、という主張の論文。ゲームエンジンの自動チェックと開発者の採否判断を組み合わせた後訓練 RLHEV を、前提知識ゼロから式・動く図・実験結果まで追う。 50 ·RAG・検索拡張·★ 会員·論文·18分で読めます 論文解説: WeMM-Embedding — 文も画像も動画も「同じ物差し」に載せるWeChatの埋め込みモデル WeMM-Embedding: WeChat Multi-Modal Embedding Technical Report テキスト・画像・動画・文書とその混合を1本のベクトルに落とすWeMM-Embedding(2B/4B/9B)のテクニカルレポートを解説。統一ペア形式、<embedding>トークン、マトリョーシカ次元、2段階学習と蒸留を、論文の数値だけで1から読み解く。 51 ·無料·論文·14分で読めます 論文解説: TLive-Omni — ライブ配信を「見て・聞いて・何分何秒かまで答える」オムニモーダルモデル TLive-Omni: An Omni-Modal Understanding Model for E-Commerce Live Streaming ECライブ配信に特化したオムニモーダル理解モデルTLive-Omniを、前提知識ゼロから解説。時刻つきで映像と音を隣に置くPer-vGrid、3段階SFT、思考の跡ではなく答えの忠実さに報酬を出すFaithful-RFTまでを、論文の数値だけを根拠に読み解く。 52 ·無料·論文·13分で読めます 論文解説: GigaBrain-0.7 — 3万7千時間の身体経験と「3つのシステム」で動くロボット基盤モデル GigaBrain-0.7: Scaling Embodied Foundation Models to Emergent Capabilities with a Three-System Architecture ロボット基盤モデルを「理解」「予測・評価」「行動」の3システムに分け、37,256.98時間の身体データで一段階事前学習する設計を、論文本文だけを根拠に1から解説する。未来画像と進捗値で方策を条件付ける仕組み、勾配を絞って流すSoft KI、実機での成功率まで。 53 ·エージェント·★ 会員·論文·18分で読めます 論文解説: Embodied-Navigator（TAMP-Nav） — VLMに「指を差させる」と、ナビゲーションは速く強くなる Embodied-Navigator: Point, Think, Memorize, and Align for Efficient Navigation 3D座標を出させる代わりにVLMへ2Dピクセルを「指差し」させ、考える場所と憶える場所を絞り、二段のGRPOで揃える。R2R-CEで成功率66.2%、1タスク16.58秒を9万本の軌跡だけで達成した設計を、論文本文に沿って1から解説する。 54 ·無料·論文·19分で読めます 論文解説: EchoWM — 音の鳴る「入れる世界」を、カメラの意図ひとつで動かす EchoWM: Open and Enterable Omnimodal World Models 参照画像と「どう動きたいか」を渡すと、720pの映像と環境音・音楽・セリフを同時に生成し続ける世界モデル EchoWM を論文本文から解説。一人称も三人称も『カメラの意図』という1つの入力に統一する設計、データセット全体で1つに揃えた並進スケール、長時間生成を支えるシンク＋FIFOキャッシュまでを追う。 55 ·無料·論文·15分で読めます 論文解説: Annotations as Rollouts — 正解データを「9本目の答案」として強化学習に混ぜる Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs 動画MLLMの強化学習では、モデルが引いた答案の中に正解がほとんど現れず学習信号が痩せる。OraRLは注釈データ自体を答案の1本として束に加え、そのとき壊れる『advantageの反転』を分解して直した手法。 56 ·無料·論文·17分で読めます 論文解説 4DAnyone — 手持ちの動画1本から「誰でも」4Dにする 4DAnyone: Create Anyone in 4D from a Casual Monocular Video スマホで正面から撮った動画1本から、自由視点で見られる4D人物を作る手法 4DAnyone を前提知識ゼロから解説。鍵は「注意の器に入りきらない」問題を解く RCP と TCR の2つの工夫。 57 ·無料·論文·15分で読めます 論文解説 SemComp-Bench — 動画生成に「で、結局できたのか」を突きつける SemComp-Bench: Benchmarking Semantic Task Completion in Video Generation 動画生成の評価を「きれいか」から「指示した結果に到達したか」へ移した SemComp-Bench を、タスク定義・データ構築の4段パイプライン・ANDで束ねる採点式・実測値まで、論文本文に沿って読み解きます。 58 ·無料·論文·15分で読めます 論文解説: S²VOPD — 教師を強くする代わりに、生徒の目を曇らせる Self-Supervised Visual On-Policy Distillation 正解ラベルも報酬も強い教師も使わずに視覚VLMを伸ばす S²VOPD を、論文本文に沿って解説。生徒側の画像だけを劣化させて「情報の非対称性」を作る反転の発想と、効く拡張・効かない拡張の切り分けを扱う。 59 ·エージェント·★ 会員·論文·15分で読めます 論文解説: OmniScientist — 生データを直接「見る」AI科学者。36ケースを1つのエンジンで走らせる OmniScientist: An Omni-Modal Omni-Discipline AI Scientist 研究の全工程を自動化しても、AIが見ているのが「誰かが作った要約表」だけなら、たどり着ける発見は最初から限られる。生の波形・画像・3D点群を研究の全期間で直接観測させ、検問をPythonのコードで強制する OmniScientist を、36ケースの結果と地震波データの21.7%という発見まで論文本文から解説。 60 ·エージェント·★ 会員·論文·18分で読めます 論文解説: Co-RL — 正解ラベルなしでも、群れの多様性から推論が立ち上がる Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL 自分の答えを自分で採点し続けるとモデルは崩壊する。Co-RLは「隣のエージェントの多数決」を報酬にしてその輪を断ち切り、正解ラベルを一切使わずに教師あり学習に並ぶ。仕組み・力学の証明・実験値・落とし穴まで論文本文から解説する。 61 ·LLM — 大規模言語モデル·★ 会員·論文·10分で読めます 論文解説: 危機映像のAI捏造は見抜けるか — RA-Benchが暴いた検出器の実力 Can We Defend Against AI-Generated Video Attacks on Real-World Crisis Events? A Systematic Evaluation of Detectors, Generators and Social Dissemination 実在の災害・戦争映像の1コマ目から作らせたAI動画1万6千本で、検出器7種・ゼロショットのマルチモーダルモデル10種・専用ファインチューン2種を測ったら、どれも生成元をまたいで汎化しなかった。映像ではなくタイムスタンプを読んでいたモデル、SNS加工で検出率が1.4%まで落ちる話まで、論文本文から解説。 62 ·VLM・マルチモーダル·★ 会員·論文·10分で読めます VLMの成立と現在 — 視覚エンコーダとLLMをどう繋ぐか Learning Transferable Visual Models From Natural Language Supervision 画像を読めるLLM=VLMは「視覚エンコーダ＋投影層＋LLM」の3部品でできている。CLIPが架けた橋から、投影層の3流派、解像度戦略とトークン数の綱引き、実装で詰まる制約までを1から解説。 63 ·エージェント·★ 会員·論文·10分で読めます 論文解説: Video-DeepResearch — 動画を「見て、調べ尽くす」次世代マルチモーダル・エージェント Video-DeepResearch: Towards the Next-Generation Multimodal Deepresearch Agent 動画から視覚的手がかりを拾い、Web検索で裏取りする「Video-DeepResearch」の論文を解説。既存モデルが視覚ツールを避ける「モダリティバイアス」と、記憶だけで答える「知識リーク」を、段階的ツール解禁とSFT+GRPOの2段階学習でどう克服したかを、一次資料に沿って読み解きます。 64 ·CNN・画像認識·★ 会員·論文·10分で読めます 論文解説: TurboVLA — LLMを追い出したロボット方策が、RTX 4090・VRAM 1GB未満で32Hzを叩き出す TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM 「画像→LLM→行動」が常識だったVLAから大規模言語モデルを外し、視覚と指示文を軽量クロスアテンションで直結。0.2Bパラメータ・31.2ms・0.9GB VRAMでLIBERO 97.7%を達成した設計を、論文本文に沿って1から解説する。 65 ·無料·論文·13分で読めます 論文解説: マルチモーダル事前学習の『物理法則』— 知識はどのモダリティからどこへ流れるのか Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes テキストと画像を最初から1つのモデルで学ばせると何が起きるのか。Meta FAIRらの大規模な統制実験から、知識の非対称な流れ、シナジーが生まれる条件、『視覚の怠け』を防ぐ早期統一、そして生成データ5%で強い画像生成を成立させるレシピまでを読み解く。 66 ·エージェント·★ 会員·論文·11分で読めます 論文解説: ToolArtist — 検索するか、描くか、描き直すか。それも自分で決める画像生成エージェント ToolArtist: Tool-Using Unified Multimodal Models for Agentic Image Generation 「1955年のソコトラ島で竜血樹脂を採る人」を正しく描くには、絵の腕前より知識の調達が要る。検索・推論・描画のすべてを1つの方策の行動にした完全エージェント型画像生成 ToolArtist を、SFTの変換トリックと二重報酬RL（RAD-GRPO）、WISE 0.79の結果まで論文本文から解説。 67 ·音声系·★ 会員·論文·13分で読めます 論文解説: SwanTale — 参照音声なしで「言葉から声をデザインする」統合音声・オーディオ生成 SwanTale: Unified Multi-Speaker Speech and Audio Generation for Instruct and Zero-Shot Tasks ByteDanceのSwanTaleは、参照音声から声を写すzero-shot TTSと、自然言語キャプションだけで声・環境音・効果音まで一体生成するinstructタスクを1つのモデルで実現した。7000万件のキャプションデータ基盤SwanData-CaptionからUnified MoE、GRPO後訓練まで、論文本文に沿って読み解く。 68 ·エージェント·★ 会員·論文·11分で読めます 論文解説: Qwen-UI-Agent — スマホもPCも操る「実世界基準」のGUIエージェントはこう作られた Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents AlibabaのMAI-UIチームが公開したGUIエージェント基盤モデルのテクニカルレポートを解説。実機100台超での訓練、GUI+CLIの混成行動空間、100ターン超のオンラインRLで、実機ベンチ92.2%を叩き出した作り方を1から読み解く。 69 ·CNN・画像認識·★ 会員·論文·13分で読めます 論文解説: PhiZero — 映像を描く前に「物理の言葉」で考える世界モデル PhiZero: A World Model Built Around Physical Language ピクセルを直接予測する代わりに、動画から自己教師で学んだ離散的な「物理言語」で世界の変化を先に推論し、それから映像を描く PhiZero を論文本文から解説。トークナイザとリーズナーの二段構え、Physics-IQ Verified 首位の結果、ゼロショット動作転移、論文が認める限界まで。 70 ·エージェント·無料·論文·12分で読めます 論文解説: OSReward — AIの「採点者」は信用できるか。コンピュータ操作エージェントの報酬を測り直す OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models PCやスマホを操作するAIエージェントの成否を判定する「VLM審判」は、実は失敗を成功と誤認する甘さバイアスを共有していた——1019本の人手検証済み軌跡でこれを暴き、30〜60倍安い公開報酬モデルOS-Shepherdで埋める論文を、前提知識ゼロから解説する。 71 ·CNN・画像認識·★ 会員·論文·12分で読めます 物体検出を1から解説（YOLO・DETRまで） End-to-End Object Detection with Transformers 画像の「どこに何があるか」を当てる物体検出を、2段階検出器・アンカー・NMSという古典の道具立てから、それらを丸ごと不要にしたDETRの発想転換まで、前提知識ゼロで解説。一次資料はDETR論文。 72 ·エージェント·無料·論文·12分で読めます 論文解説: Mental World Modeling — 物理だけでなく「心」まで遷移させるワールドモデル Mental World Modeling シーンの物理を完璧に追えても、人の次の行動は当てられない——信念・意図・感情・規範を状態変数として持ち、行動が物理と心を同時に更新する Mental World Modeling (MWM) の定式化と、訓練不要ベースライン Mentis による8モデル検証を、論文本文から数値つきで解説する。 73 ·CNN・画像認識·★ 会員·10分で読めます 医用画像とAI — 精度より先に問われる検証設計 自施設のデータで高精度だったAIが、隣の病院では使いものにならない——医用画像AIで繰り返し報告されてきた典型的な失敗です。感度と特異度、有病率が的中率を裏返す仕組み、内部検証と外部検証の違い、施設間差の正体、そして規制が何を審査しているのかまで、「精度の数字より先に検証設計を疑う」考え方を1から組み立てます。 74 ·無料·論文·12分で読めます 論文解説: JoyAI-Video-Edit — 未来のフレームを待たずに、720p・約30FPSで動画を編集し続ける自己回帰拡散 JoyAI-Video-Edit: Real-Time Open-Ended Video Editing with Autoregressive Diffusion 「背景を雪山に変えて」と指示すると、流れ込むライブ映像がその場で編集されて返ってくる——JDのJoyAI-Video-Editを論文本文から解説。チャンク自己回帰化・ソース錨付き蒸留(SA-DMD)・長時間ロールアウト蒸留の3段構えで、16Bモデルが720pを約30FPSで編集し続ける仕組みを追う。 75 ·無料·論文·11分で読めます 論文解説: Hunyuan3D-Buffalo 1.0 — 理解・生成・編集を1つの脳に束ねる3D統合マルチモーダルモデル Hunyuan3D-Buffalo 1.0: A Unified Multimodal Model for Scalable 3D Generation, Understanding, and Editing 3D形状を言葉で説明する・テキストから作る・指示で編集する・部品を切り出す——4つの仕事を1つのモデルで行うTencent HunyuanのHunyuan3D-Buffalo 1.0を論文本文から解説。87Mサンプルのデータ工場Nano3D-v2と、「生成力を鍛えると編集が上手くなる」という相乗効果の発見まで追う。 76 ·動画圧縮·無料·9分で読めます H.264からAV1へ — コーデック世代交代の実際 20年使われ続けるH.264と、ロイヤリティフリーを掲げて登場したAV1。符号化効率・計算量・ライセンスという3つの軸で世代交代の実際を解き、どちらをいつ選ぶかの判断基準まで1から解説する。 77 ·無料·論文·10分で読めます 論文解説: GST-Bench — VLMは動画から「空間の全体像」を掴めるか GST-Bench: Can VLMs Develop Global Spatial Awareness from Video? 部屋を一周した動画を見せたあと「いま君がいる場所から、さっきのソファはどっち？」と聞くと、最強のVLMでも人間の半分ほどしか答えられない——ByteDance SeedらのGST-Benchを論文本文から解説。ズルを封じるベンチマーク設計、22モデルの結果、そして訓練データで27点伸びた話まで。 78 ·エージェント·無料·論文·11分で読めます End-to-End運転を1から — 認識から制御までを1つのネットワークで End to End Learning for Self-Driving Cars カメラ画像からハンドル操作までを1つのニューラルネットで学ぶEnd-to-End自動運転を、前提知識ゼロから解説。モジュール型との思想の違い、模倣学習と分布シフト、「平均を出すと事故る」多峰性問題、そして解釈性と検証がなぜ難しいかまでを一気に追う。 79 ·現場のメディア実務·★ 会員·10分で読めます エンコード設定の読み方 — CRF・プリセット・2パスは何を変えるのか ffmpegのコマンドに並ぶ -crf 23 -preset slow -pass 2 は、それぞれ別の質問に答えるつまみです。何を一定に保つか（CRF）、探索にどれだけ時間をかけるか（プリセット）、全体を先に読むか（2パス）。量子化ステップの式とレート歪み最適化から、各パラメータが効く理由を1つずつ解き、コピペで使える実コマンドと現場の落とし穴まで降ります。 80 ·無料·論文·12分で読めます 論文解説: DEFT-RLVR — 自動運転VLMに未来の軌跡を「先に見せる」と推論が捏造される Deferred Exposure of Future Trajectories for Verifiable Reasoning in Autonomous Driving VLMs 自動運転VLMのCoT教師データ作成で正解軌跡を先に見せると、教師は理由を後付けし幻覚が29%→50%に倍増する——この「軌跡アンカリングバイアス」を実証し、走行計画を選択問題化(AD-MCQ)して軌跡の開示を決断の後に遅延させる強化学習 DEFT-RLVR (arXiv:2608.01755) を論文本文だけを根拠に解説する。 81 ·CNN・画像認識·★ 会員·論文·10分で読めます CNNアーキテクチャの系譜 — AlexNetからResNet・EfficientNetまで Very Deep Convolutional Networks for Large-Scale Image Recognition 画像認識を塗り替えたCNNの10年を「深さの戦い」と「軽量化の戦い」の2幕で辿る。ReLU・残差接続・複合スケーリングという各時代の決定打を、比喩と動く図とコードで1から解説する。 82 ·CNN・画像認識·無料·11分で読めます 自動運転の認識スタックを1から — カメラとLiDARは何を分担しているのか 自動運転車が「周りに何があるか」を知る仕組みを、センサの物理特性から解説。カメラとLiDARの得意・不得意、全センサを1枚の地図にまとめるBEV表現、ベイズ更新で育てる占有格子、そして安全要件と計算資源のせめぎ合いまで、前提知識ゼロで追う。 83 ·無料·論文·12分で読めます 論文解説: AURORA-LM — テキストを連続潜在空間で生成する拡散言語モデル、「圧縮せずに学び切る」という選択 AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling テキストを離散トークンではなく連続潜在空間で生成する拡散言語モデルAURORA-LMを論文本文から解説。潜在を圧縮して拡散を楽にする従来路線を捨て、幅1024の復元可能な潜在をそのまま、低ランク入力・高ノイズ校正・自己軌道一貫性で学び切る設計を追う。 84 ·CNN・画像認識·★ 会員·12分で読めます 異常検知を1から — 正常だけから学ぶという発想 不良品がほとんど手に入らない製造現場で、なぜ「正常だけ」からAIが学べるのか。再構成誤差と密度推定という2つの物差しを比喩から式まで積み上げ、実務の核心である閾値の決め方まで解説する。 85 ·VLM・マルチモーダル·★ 会員·論文·11分で読めます BEV表現を1から — 複数カメラを俯瞰図に統合する Lift 自動運転車が6台のカメラ映像を1枚の「上から見た地図」に変換する仕組みを、透視投影の復習から解説。深度を確率分布で押し出すLSSと、BEV側から問い合わせるTransformer系(BEVFormer)の設計思想の違いまで、前提知識ゼロから追う。 86 ·論文解説·無料·論文·12分で読めます 論文解説: Alpamayo — 自動運転の推論モデル Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail NVIDIAの自動運転VLA「Alpamayo-R1」を原論文から読み解く。因果の鎖で推論を構造化するChain of Causationデータセット、flow matchingで99msに収めた軌道デコード、推論と行動のズレをRLで罰する3段階学習まで、1から解説する。 87 ·VLM・マルチモーダル·無料·論文·10分で読めます 論文解説: ViT — 画像を単語のように扱う An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale ViT原論文（Dosovitskiy et al., 2020/2021）を本文だけを根拠に読む。16×16のパッチを単語として扱うという一手、位置埋め込みのアブレーション、CNNの帰納バイアスを捨てた代償、そして「大規模データでCNNを超える」という条件付きの主張の中身。 88 ·生成モデル·無料·論文·14分で読めます 拡散モデルを1から理解する — ノイズを足して、引く Denoising Diffusion Probabilistic Models DDPM原論文（Ho et al., 2020）を本文だけを根拠に読む。ノイズを足す前向き過程と引く逆過程、なぜ目的関数が「ノイズを当てる」形に落ち着くのか、単純化した損失が尤度を悪化させながら品質を上げた理由、そしてステップ数と品質の関係。 89 ·VLM・マルチモーダル·無料·論文·9分で読めます 論文解説: CLIP — 言葉と画像を同じ地図に置く Learning Transferable Visual Models From Natural Language Supervision CLIP原論文（Radford et al., 2021）を本文だけを根拠に読む。バッチ内の正例と負例で学ぶ対照学習の仕組み、テキスト側が分類器の重みを作るというゼロショットの正体、プロンプトで5%動く事実、そして論文自身が並べた長い限界のリスト。 90 ·現場のメディア実務·★ 会員·11分で読めます 配信のビットレート設計 — 現場で最初に任される仕事 なぜ1本の動画に複数の解像度を用意するのか。ABRの仕組みから、解像度ごとのレート歪み曲線とその凸包でラダーを決める考え方、過剰なビットレートが3つの経路で損をする理由、PSNR・SSIM・VMAFの性格の違いと使い分け、そしてper-titleエンコーディングまで。最後は代表クリップの取り方から検証の回し方まで手順に落とします。 91 ·動画圧縮·無料·10分で読めます 動画圧縮を1から — 動き補償とGOP 1秒30枚の写真を別々に圧縮していては、いまの配信帯域にはまるで届きません。フレーム差分がなぜ破綻するのか、動き補償は何を送っているのか、I/P/BフレームとGOP、CBR・VBR・CRFが何を一定に保つのか。最後は配信担当が実際に決めるキーフレーム間隔まで降りていきます。 92 ·画像圧縮·無料·10分で読めます PNGはなぜ劣化しないのか — 予測フィルタとDeflate 1ビットも変えずに縮めるとは、どういうことか。すべてのファイルを縮める圧縮器が存在しない理由から始めて、PNGの5つの行フィルタが「予測して差分だけ残す」仕組み、Deflate（LZ77＋ハフマン）、そして写真が苦手でスクリーンショットが得意な理由まで。最後にJPEGとの使い分けを判断基準の形で置きます。 93 ·画像圧縮·★ 会員·12分で読めます JPEGはなぜ劣化するのか — DCTと量子化を1から 写真が10分の1になるとき、何が捨てられているのか。色空間変換・8×8ブロック・DCT・量子化テーブル・ジグザグ走査を順に追い、「品質90」という数字の正体と、ブロックノイズ／モスキートノイズが生まれる場所まで降りていきます。最後は、画像を扱う人が実際に決めることへ落とします。 94 ·CNN・画像認識·無料·10分で読めます 画像分類を1から理解する — 畳み込みという発明 写真をそのまま全結合層に流すと、パラメータが1億個を超え、しかも猫が数画素ずれただけで別物になります。畳み込みはこの2つを「小さな窓を滑らせる」という1つのアイデアで同時に解きました。カーネル・ストライド・パディング・プーリングを式と手触りで押さえ、最後はsoftmaxで確率にするところまで。