#mllm

5 記事

01 ·推論・高速化·★ 会員·論文·10分で読めます 論文解説: RewardVerse — 採点表を先に作ってから動画を採点する報酬モデル（RGPO） RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling 動画の報酬モデルは、点数が狭い範囲に固まったり言い回しでずれたりする（スカラードリフト）。RewardVerseは採点前に評価ルーブリックを生成し、項目ごとにトークン確率から連続スコアを読む。2段階のRGPOで、1観点30ペアだけで学習する。 02 ·★ 会員·論文·15分で読めます 論文解説: VDiff-Bench — 最強のMLLMでも「間違い探し」の低レベル変化を見落とす VDiff-Bench: A Challenging Benchmark for Fine-Grained Image Difference Identification 「2枚の画像で何が変わったか」を4択で問うVDiff-Benchを論文本文から解説。1,756問・10カテゴリの作り方、11モデルの結果、ノイズやテクスチャの変化を『差なし』と答えてしまう失敗の構造、画像編集の自動評価に使うときの落とし穴まで。 03 ·★ 会員·論文·14分で読めます 論文解説 Beyond Retrieval — 取り出した映像を「潜在メモリ」に取り込むLatentStream Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding 流れ続ける動画に対し、過去の証拠を外部コンテキストとして足すのではなく、固定長の潜在メモリトークンへ内面化する枠組みLatentStream。階層メモリ・潜在メモリ進化・自信ベースのテスト時最適化を、論文本文に沿って1から解説する。 04 ·エージェント·★ 会員·論文·13分で読めます 論文解説 UrbanGround: 街に降ろされたMLLMエージェントは、どこで崩れるのか UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City 香港の全域3D地理データから作った実スケールの街に、MLLMエージェントを一人称で降ろす。視覚認識は9割、方位理解は4割、長距離ナビはほぼ0%。「見える」と「動ける」の断絶を測ったベンチマーク論文を1から解説する。 05 ·LLM — 大規模言語モデル·★ 会員·論文·10分で読めます 論文解説: 危機映像のAI捏造は見抜けるか — RA-Benchが暴いた検出器の実力 Can We Defend Against AI-Generated Video Attacks on Real-World Crisis Events? A Systematic Evaluation of Detectors, Generators and Social Dissemination 実在の災害・戦争映像の1コマ目から作らせたAI動画1万6千本で、検出器7種・ゼロショットのマルチモーダルモデル10種・専用ファインチューン2種を測ったら、どれも生成元をまたいで汎化しなかった。映像ではなくタイムスタンプを読んでいたモデル、SNS加工で検出率が1.4%まで落ちる話まで、論文本文から解説。