optimization

定義

損失関数が小さくなるようにパラメータを更新する数理的な手続き、およびその研究領域。実務では確率的勾配降下法とその派生が中心で、学習率スケジュールや正則化の設計が学習の成否を大きく左右する。推論を速くするという意味の「最適化」とは別の話なので文脈で区別する。

論文題名での読み方

学習の数理的な側面

この語が出てくる解説

• 論文解説: AutoSaddler — エージェントの失敗ログから「壊れないハーネス」を自動で育てるAutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces
• 論文解説 TTPO: 正解ラベルなしで、テストの最中にモデルを鍛えるTTPO: Test-Time Policy Optimization
• カーネル法とガウス過程 — NN以前の王者Practical Bayesian Optimization of Machine Learning Algorithms