modality

定義

情報の種類のこと。画像・音声・テキスト・深度・センサ値などがそれぞれのモダリティで、複数を同時に扱うのが multimodal。種類ごとに構造も統計も違うため、共通の表現空間へ写して揃える設計が課題の中心になる。

論文題名での読み方

扱う情報の種類のこと

この語が出てくる解説

• 論文解説: マルチモーダル事前学習の『物理法則』— 知識はどのモダリティからどこへ流れるのかTowards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes