parameter

定義

学習によって値が決まるモデル内部の数値で、重みやバイアスがこれにあたる。個数がモデルの容量とメモリ使用量をほぼ決めるため、規模を語るときの標準単位になっている。学習率やバッチサイズのように人が事前に決める値は hyperparameter と呼び、勾配で更新されない点で区別される。

論文題名での読み方

モデル規模を表す単位

この語が出てくる解説

• ハイパーパラメータ探索 — 勘・グリッド・ベイズ最適化Random Search for Hyper-Parameter Optimization
• Mixture of Experts (MoE) を1から解説 — Switch Transformerのルーティングと負荷分散Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity