JA EN
教科書 › 第II部 AIモデルの系譜
CHAPTER 25

VLMの成立と現在

★ 会員5分

VLM(Vision Language Model)とは、画像を見て言葉で答えられるモデルのことである。「この写真に何が写っているか説明して」「このグラフの傾向を読んで」「この画面のどこを押せばいいか」に答える。

成立の背景には2つの流れの合流がある。言語側では大規模言語モデル(LLM)が十分な推論能力を獲得していた。視覚側ではCLIPが、画像を言語と親和的なベクトルに変換する方法を示していた。あとは両者をどうつなぐか、という問題になる。

画像 ピクセル 視覚エンコーダ ViT / CLIP系 アダプタ 次元と形式を変換 LLM 言語トークンと混ぜる 画像をベクトル列(視覚トークン)に変える LLMが「単語」として読める形に翻訳する
大半のVLMはこの3段構成をとる。設計上の争点は、真ん中のアダプタをどう作るかにある。

§

この先は会員限定です

全26章と全ラボが読み放題。月額¥490、いつでも解約できます。

コメント

コメントにはログインが必要です