GLOSSARY

softmax

ソフトマックス。数値の並びを確率に変える関数

1本の論文題名に登場

定義

実数の並びを、すべて正で合計が1になる分布に変換する関数。各要素の指数関数をとってその総和で割る形で定義され、分類の出力確率や注意の重み付けに使われる。名前は最大値を選ぶ操作を滑らかにしたものという含意だが、実際には最大値そのものではなく argmax の滑らかな近似であり、温度パラメータで鋭さを調整できる。

論文題名での読み方

注意重み・出力確率