論文解説: Ovis-Embedding — 文字・画像・動画・音声を1つの物差しで測る埋め込みモデル
テキスト・画像・動画・音声を同じベクトル空間に置く埋め込みモデル群 Ovis-Embedding を、比喩→式→動く図→コードの順で1から解説。4段階の学習手順、ベクトルを短く切っても精度を保つ工夫、論文が示していない点まで整理する。
要点
- Ovis-Embedding は、テキスト・画像・動画・音声を1つの共有バックボーンで同じ表現空間に写すオムニモーダル埋め込みモデル群である。
- 改良点は、Qwen-omni からのネイティブなオムニモーダル初期化、同質ソースサンプリングなどのデータ設計、埋め込み専用の最適化の3つである。
- 同質ソースサンプリングは、同じデータ源からバッチを作って有益な負例を得る手法である。
- 推論時に低ランク分解でベクトルの次元を柔軟に縮められ、MMEB-v3・MMEB-v2・MVEB・MAEB・RTEB で最高水準の結果が報告されている。
- 学習でも検索でもコサイン類似度、つまり長さを1に揃えたベクトル同士の内積を使う。
Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings
一次資料 — この記事の根拠
論文の発表 2026-09-21→この解説の公開 2026-09-26同月
Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal EmbeddingsOvis-Embedding Team · 2026-09-21 · v1arXiv:2609.25165論文ページ·PDF原文の要旨（Abstract）を読む
In this report, we introduce \textbf{Ovis-Embedding}, a state-of-the-art omni-modal embedding family built on native integration of text, image, video, and audio. Instead of assembling separate modality towers, Ovis-Embedding uses a shared multimodal backbone to encode different modalities in a common representation space. Specifically, we make \textbf{three key advances}: (1) \textbf{native omni-modal initialization}: we adopt a pretrained Qwen-omni model as the embedding backbone and adapt it through contrastive training with low-rank initialization; (2) \textbf{data-centric omni-modal training}: we construct a broad, high-quality corpus spanning text, images, video, audio, and interleaved multimodal data. To improve data efficiency, we introduce homogeneous-source sampling to form task-consistent batches with informative in-batch negatives; and (3) \textbf{embedding-specific training and inference optimization}: we use focal loss to emphasize hard examples and similarity-based Embedding Distillation to transfer fine-grained similarity structure from complementary experts. At inference time, low-rank feature decomposition enables compact embeddings with flexible dimensionality and minimal performance loss. Empirical evaluations show that the \textbf{Ovis-Embedding} family achieves state-of-the-art performance on \textbf{MMEB-v3}, \textbf{MMEB-v2}, \textbf{MVEB}, \textbf{MAEB}, and \textbf{RTEB}, demonstrating its effectiveness across text, image, video, and audio modalities. These results highlight the potential of unified omni-modal training to overcome modality fragmentation and advance universal embedding models for any-to-any retrieval.
この論文は何をしたのか
今回読むのは、Alibaba の Ovis-Embedding Team による技術報告 "Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings"（arXiv:2609.25165、2026年9月21日公開）です。
アブストラクトの要旨は次のとおりです。Ovis-Embedding は、テキスト・画像・動画・音声をもともと一体で扱える「オムニモーダル」な埋め込みモデル群です。モダリティ（データの種類）ごとに別々のエンコーダを組み合わせるのではなく、1つの共有バックボーンで全種類を同じ表現空間に写します。改良点は3つあります。(1) 学習済みの Qwen-omni モデルを出発点にし、低ランク（LoRA）で対比学習を始める「ネイティブなオムニモーダル初期化」。(2) テキスト・画像・動画・音声・それらの混在データからなる大規模コーパスと、同じデータ源からバッチを作って有益な負例を得る「同質ソースサンプリング」。(3) 難しい例を重視する focal loss、専門家モデルから類似度の構造を移す埋め込み蒸留、推論時にベクトルの次元を柔軟に縮める低ランク分解、という埋め込み専用の最適化です。著者らは MMEB-v3・MMEB-v2・MVEB・MAEB・RTEB で最高水準の結果を報告しています。
一言でまとめると、「どんな種類のデータでも、同じ物差しで近さを測れるようにする」ための設計と学習レシピの報告です。
比喩: 図書館に「共通の棚番号」を振る
ある図書館に、本・写真・映画フィルム・録音テープが混在していると想像してください。利用者の依頼は種類をまたぎます。論文の序論（§1）には、機械の異常音と短い説明文を手がかりに、動画チュートリアル・PDFマニュアルの図・過去の修理記録を探す保守エージェントの例が出てきます。
素朴な方法は、資料の種類ごとに別の司書を雇い、それぞれが独自の番号を振ることです。ただ、これでは「写真係の3番」と「録音係の3番」が同じ意味なのか誰にもわかりません。本当に必要なのは、全種類の資料に1つの共通ルールで棚番号を振る司書です。論文はこれを any-to-any retrieval（何から何でも探せる検索）と呼び、「同じ長さのベクトルを出すだけでは足りない。モダリティをまたいで点数が比較でき、しかも各モダリティ内の細かい違いも残る空間が要る」と述べています（§1）。
著者らの問題意識は、既存のオムニモーダル埋め込みの多くが、画像とテキストで作った空間に後から音声の経路を足している点にあります。音声は「音声抜きで作られた棚配置」に合わせ込まれることになり、細かい対応が取りにくくなる恐れがある、という指摘です（§1）。
直感: 埋め込みとは「意味の座標」
埋め込み（embedding）は、入力を数千個の数字の並び、つまりベクトルに変換したものです。意味が近いものほどベクトルの向きが近くなるように学習します。基礎は 埋め込みを1から理解する で扱っています。
検索では、クエリと候補のベクトルの「向きの近さ」を計算して、近い順に並べます。下の図でクエリをドラッグすると、上位5件が入れ替わります。内積とコサインを切り替えると、長さを揃える（正規化する）かどうかで顔ぶれが変わることも確かめられます。Ovis-Embedding は学習でも検索でもコサイン類似度、つまり長さを1に揃えたベクトル同士の内積を使います（§2）。
コメント
コメントにはログインが必要です