information

情報。情報量という量的な意味も持つ

1本の論文題名に登場

定義

情報。ここでは日常語の「知らせ・中身」ではなく、不確かさの減少量として数値化された量を指すことが多い。シャノンの情報理論に由来し、エントロピーや相互情報量として bit や nat の単位で測る。表現学習では「どれだけ情報を保ったか／捨てたか」が診断ではなく目的関数そのものになる。

情報量として測る対象