autoencoding

定義

入力を一度圧縮し、そこから元の入力を復元することを目標に学習する方式。言語モデルではBERTのように文の一部を隠して埋め戻す学習を指し、双方向の文脈を使えるので理解系タスクに強い表現が得られる。次の語を順に予測する自己回帰（autoregressive）とは目的関数が異なり、そのまま文章を生成する用途には向かない点が対比される。

論文題名での読み方

BERT系の学習の型

この語が出てくる解説

• 論文解説: AURORA-LM — テキストを連続潜在空間で生成する拡散言語モデル、「圧縮せずに学び切る」という選択AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling