GLOSSARY

discrete

離散的な。とびとびの値をとる

1本の論文題名に登場

定義

離散的。値が有限個・とびとびで、連続的に変化しないこと。深層学習では潜在表現を符号帳に量子化する VQ 系のモデルや、言語のトークンのように記号単位で扱う設計を指す。連続表現より情報は落ち勾配も素直に通らないが、圧縮が効き、系列モデルにそのまま載せられるという利点と引き換えになっている。

連続の対。記号化