GLOSSARY

audioldm

文章から音を作る潜在拡散モデルの名前

1本の論文題名に登場

定義

テキストから効果音・環境音・音声を生成する潜在拡散モデル。メルスペクトログラムをVAEで潜在空間へ圧縮し、その空間で拡散を走らせてからボコーダで波形に戻すため、波形を直接生成するより軽い。条件付けにはテキストと音声を同じ空間に置く対照学習表現を使い、キャプションのない音声データも学習に活かせる点が設計の要点。

論文題名での読み方

固有名。音生成モデル