omnimodal

定義

テキスト・画像・音声・動画といったあらゆる様式を、一つのモデルで入力にも出力にも扱えると主張する語。二つの様式を組み合わせる multimodal の延長で、様式ごとに変換器を継ぎ足すのではなく共通の表現に載せる設計を指すことが多い。定義は緩いため、実際にどの様式が入出力できるかは実装ごとに確認が要る。

論文題名での読み方

multimodalの拡張語

この語が出てくる解説

• 論文解説: EchoWM — 音の鳴る「入れる世界」を、カメラの意図ひとつで動かすEchoWM: Open and Enterable Omnimodal World Models