images

定義

画像データ。二次元の画素配列として与えられ、畳み込みで局所から積み上げる系統と、小さなパッチに切ってトークン列として扱う系統に大きく分かれる。テキストの単語のような自然な離散単位が存在しないため、どう区切って表現するか自体が設計上の主要な論点になる。

論文題名での読み方

対象データを示す

教科書で学ぶ

• ViT ── 画像を単語のように扱う
• CLIP ── 言葉と画像を同じ地図に