continuous-latent

連続な潜在表現の。離散トークンでない内部表現

1本の論文題名に登場

定義

内部表現を離散トークンではなく連続値のベクトルとして保持する設計。量子化による情報の切り捨てがなく勾配もそのまま流せる一方、離散語彙上の分布を扱う自己回帰Transformerには乗せにくい。潜在をコードブックへ量子化するVQ-VAE系との対比で使われ、音声・画像・動画の生成で繰り返し論点になる。

内部表現の持ち方を示す