論文解説: WeMM-Embedding — 文も画像も動画も「同じ物差し」に載せるWeChatの埋め込みモデル
テキスト・画像・動画・文書とその混合を1本のベクトルに落とすWeMM-Embedding(2B/4B/9B)のテクニカルレポートを解説。統一ペア形式、<embedding>トークン、マトリョーシカ次元、2段階学習と蒸留を、論文の数値だけで1から読み解く。
WeMM-Embedding: WeChat Multi-Modal Embedding Technical Report
一次資料 — この記事の根拠
論文の発表 2026-08-25→この解説の公開 2026-08-27同月
WeMM-Embedding: WeChat Multi-Modal Embedding Technical ReportJunjie Zhou, Ke Mei, Lei Li ほか · 2026-08-25 · v1arXiv:2608.24053論文ページ·PDF原文の要旨（Abstract）を読む
Universal multimodal embeddings are becoming a core component of modern AI systems, enabling heterogeneous content to be represented in a shared space for applications such as retrieval, recommendation, classification, and agentic systems. In this report, we present WeMM-Embedding, a family of universal multimodal embedding models supporting text, images, videos, visual documents, and arbitrarily interleaved multimodal inputs with flexible output dimensions. The family comprises 2B, 4B, and 9B variants and is trained in two stages: a large-scale multimodal alignment stage, followed by a refinement stage using curated data, fine-grained relevance supervision, and cross-scale knowledge transfer. Across extensive evaluations, WeMM-Embedding achieves leading performance on multiple public benchmarks. Notably, the 2B variant already surpasses the previously leading 8B open-source baseline on MMEB-v2, while the 9B variant further achieves a new state-of-the-art overall score of 80.6. WeMM-Embedding also demonstrates strong practical performance across WeChat applications, with substantial gains on a 26-task in-house benchmark and consistent improvements across 14 online A/B tests. It has been deployed at scale across recommendation and search applications, including WeChat Channels, Official Accounts, Moments, and e-commerce services. We have released the model weights and code to facilitate future research at https://github.com/Tencent/WeMM-Embedding.
「意味」を矢印に変える係
書店で「去年読んだ、表紙が赤くて、猫が出てくる小説」と言えば、店員は書名を知らなくても棚まで連れて行ってくれます。検索や推薦の裏側でこの役を担っているのが埋め込みモデルです。文章・画像・動画といった中身を数百〜数千個の数字の並び（ベクトル）に変換し、「意味が近いものは近い向きを指す」空間を作る。あとは向きの近さを測るだけで、探す・並べる・分類するが全部できてしまいます。空間そのものの作り方は埋め込み(Embedding)を1から理解するで扱っているので、ここでは「その空間に何を載せるか」に絞ります。
厄介なのは、現実に載せたい素材が一種類ではないことです。記事、サムネイル、ショート動画、PDFのスクリーンショット、そして「この写真に似た商品を、赤色で」のように画像と文が混ざった問い合わせ。CLIP系は画像用と文用のエンコーダを別々に持つ構造だったため、こうした入り混じった入力を素直に1本のベクトルにできませんでした（§1）。
今回読むのは、TencentのWeChat Visionチームが2026年8月に公開したテクニカルレポート WeMM-Embedding です。テキスト・画像・動画・視覚文書、そして任意の順で混ざった入力を、すべて同じ空間の1本のベクトルに落とすモデル群（2B / 4B / 9B）で、重みとコードが公開されています（§1）。
論文の主張を先に
- 公開ベンチ MMEB-v2（78データセット）で2Bが総合 77.9。従来の先頭にいた8Bのオープンソース系（Qwen3-VL-Embedding-8B が 77.8）をわずかに上回った（§4.1.1）
- 9B は総合 80.6 で、公式リーダーボード（2026年8月24日時点）の1位（§1）
- WeChat実務由来の26タスク社内ベンチで2Bが 72.0（比較対象の Qwen3-VL-Embedding-2B は 60.9）、加えて14本のオンラインA/Bテストで改善（§4.3）
「小さいモデルが一世代前の大きいモデルを追い越した」という形で性能と効率のフロンティアが動いた、というのが論文の自己位置づけです（§1）。以下、データ → モデル → 学習 → 検証の順に読み解きます。
全部を「1つの型」に押し込む (§2.1)
いちばん効いている設計判断は、意外に地味なところにあります。種類の違うタスクを、全部同じ形の1行に書き直したことです。論文は各学習例を次の5つ組で表します。
記号を順に見ます。 は「どういう関係で照合してほしいか」を書いた任意の指示文、 は探す側（ソース）、 は正解の相手（ターゲット）、 は任意のハードネガティブ＝惜しいけれど不正解の候補たち、 は任意の関連度スコアです。 と には文でも画像でも動画でも、それらの混合でも入ります。
ひとことで言えば「探す側・探される側・間違えやすい相手・どのくらい近いかの点数」。これだけで、キャプション付け・分類・QA・検索・推薦の学習データが全部書けてしまう、という主張です。分類は「画像 → クラス名（またはその説明文）」に、QAは「質問 → 答え」に書き換えられます（§2.1）。型が揃えば同じ1本のパイプラインに流せて、同じバッチに入った他の例のターゲットは、そのまま不正解サンプル（in-batchネガティブ）として再利用できます。ここが後で効いてきます。
指示文 の役割にも触れておきます。入力のモダリティ構成が同じでも、求められている照合関係が違うことがあるからです。「この画像と同じ商品の写真」と「この画像を説明した文」は、どちらも画像を起点にしますが、近づけるべき相手はまるで別物。指示文はその違いをモデルに伝える札で、後の実験ではこれを外すと性能が落ちます（§4.4.2）。運用側から見ると、指示文は「プロンプト」というよりそのインデックスがどの関係で作られたかの宣言に近い存在です。
データを「選び直す」 (§2.2)
第1段階には数億件のペアを使いますが、論文は別に約10分の1の「厳選版」を作ります。狙いは量ではなく、偏りをならすことと教師信号の情報量を上げること。手順は3つです（§2.2）。
まずSemantic-IDによる再サンプリング。各ペアのうちトークン列が長い側を学習途中のWeMM-Embedding自身で符号化し、3段の残差k-means量子化（RQ-KMeans）で3要素の離散IDを振る。そのIDに何件集まっているか（密度）を見て、混雑したIDの例は低い確率で、閑散としたIDの例は高い確率で採用します。完全な一様化はせず、頻出パターンへの過剰な露出だけを削る設計です。次に品質の手直し。マルチモーダルLLMに通して意図した対応関係になっていない例を落とし、Web由来のalt-textは元の文体と詳しさを保ったまま事実の誤りだけ直します。最後にハードネガティブの追加。テキストが正解ならLLMに「もっともらしい誤り」を作らせ、画像・動画が正解なら学習途中のモデル自身で候補プールから似たものを検索してくる。要は「データを増やす」ではなく教師のツッコミを鋭くする工程です。
本体: 文末に置いた <embedding> トークン (§3.1)
モデルは Qwen3.5 のマルチモーダル系バックボーンの上に建てられています（§3）。テキストはトークナイザで、画像・動画はネイティブの視覚パイプラインでトークン列になり、入力に現れた順のまま一列に並ぶ。その末尾に専用の <embedding> トークンを足し、最終層の隠れ状態をL2正規化したものが出力ベクトルです（last-token pooling）。
因果マスク（前だけ見る注意）なので、末尾の <embedding> は手前の全内容を見終わった状態になります。論文が挙げる応用が分かりやすい。動画の後にASR（音声認識）の書き起こしが続く入力で、<embedding> を動画トークンの直後と列の末尾の2か所に置くと、1回の順伝播で「動画だけの表現」と「動画＋テキストの表現」が同時に取れます（§3.1）。
コメント
コメントにはログインが必要です