multi-modal

多モーダルの。画像・音声・文章をまとめて扱う

1本の論文題名に登場

定義

画像、音声、テキスト、動作といった異なる種類の入出力を一つのモデルで扱うこと。難しさは入力が増えることではなく、性質の違う情報を共通の表現へ揃え、どこが対応するかを学ばせる点にある。cross-modal が種類をまたぐ変換を指すのに対し、こちらは複数を同時に扱える性質そのものを指す。

複数種類の入力を扱う