omni-modal

定義

テキスト・画像・音声・動画といった主要なモダリティを一つのモデルでまとめて入出力できることを指す語。画像とテキストだけを扱うマルチモーダルより広い範囲を主張するときに使われ、音声を入力から出力まで途切れなく扱えるかが実質的な違いになることが多い。

論文題名での読み方

マルチモーダルの全部版

この語が出てくる解説

• 論文解説: MiniMax-H3は物理世界を推論できるか — 全モダリティ生成モデルを「言われていないこと」で試す評価Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model
• 論文解説: Ovis-Embedding — 文字・画像・動画・音声を1つの物差しで測る埋め込みモデルOvis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings
• 論文解説: TLive-Omni — ライブ配信を「見て・聞いて・何分何秒かまで答える」オムニモーダルモデルTLive-Omni: An Omni-Modal Understanding Model for E-Commerce Live Streaming