学生版 社会人版
JA EN

#vae

3 記事

01 ·★ 会員·論文·14分で読めます 論文解説 GenFirst: 生成を先に、再構成を後に — 潜在生成モデルを端から端まで壊さず学習する GenFirst: Generation Before Reconstruction for Stable End-to-End Latent Generative Modeling 画像生成の定番である「VAEで潜在空間を作ってから生成モデルを載せる」2段構えを、1段で同時に学習する方法。潜在崩壊を防ぐ鍵はKLのエントロピー項で、学習の順番を「生成が先・再構成が後」にすると安定する、という論文を1から解説します。 02 ·生成モデル·無料·13分で読めます VAEを1から — 「圧縮して戻す」に確率を混ぜると生成になる 圧縮して元に戻すだけのオートエンコーダは、なぜ新しいデータを作れないのか。そこに確率を一滴混ぜると生成モデルに変わる理屈を、ELBO・再パラメータ化・潜在空間の補間まで前提知識ゼロから解説します。 03 ·情報理論·★ 会員·論文·12分で読めます KL情報量を1から — 2つの分布の「ズレ」を測る Training language models to follow instructions with human feedback 2つの確率分布の「ズレ」を測るKL情報量を、圧縮の無駄払いという比喩から定義・非対称性・numpy実装へと積み上げる。後半はVAEの正則化項とRLHFのKLペナルティという2大応用で、この量が現代のAIをどう支えているかまでつなげる。