学生版 社会人版
JA EN

#bayesian-optimization

4 記事

01 ·確率・統計·★ 会員·論文·15分で読めます カーネル法とガウス過程 — NN以前の王者 Practical Bayesian Optimization of Machine Learning Algorithms 深層学習が来る前、分類の王座に座っていたのはSVMとカーネル法だった。高次元へ持ち上げるコストをタダにする「カーネルトリック」から、関数そのものに確率を置くガウス過程、そして不確実性を武器にするベイズ最適化までを、前提知識ゼロで組み立てる。 02 ·深層学習の基礎·★ 会員·論文·17分で読めます ハイパーパラメータ探索 — 勘・グリッド・ベイズ最適化 Random Search for Hyper-Parameter Optimization 学習率やバッチサイズは勾配が教えてくれないので、探すしかありません。なぜグリッドサーチが弱いのか、探索空間を対数で切る理由、ベイズ最適化の獲得関数が何を数えているのか、早期打ち切りが探索アルゴリズムより効く理由を、Optunaのコードと現場の落とし穴まで含めて前提知識ゼロから解説します。 03 ·論文解説·★ 会員·論文·18分で読めます 論文解説 Large Discovery Models — LLMに「次に何を試すべきか」を教える価値信号 Large Discovery Models: Empirically-grounded Model-Based Open-Ended Search LLMは案を出せても、その案が本当に良いかを自分では採点できない。論文 Large Discovery Models は、LLMの提案分布をガウス過程由来の「獲得値」で傾けることで、高価な実験予算のもとでの探索を回す枠組みを示す。式から実験数値まで1から解説。 04 ·確率・統計·★ 会員·論文·11分で読めます ベイズの定理をAIで使う — 事前分布・事後分布・不確実性 On Calibration of Modern Neural Networks たった1行のベイズの定理が、AIの現場では「確率の校正」「能動学習」「ベイズ最適化」という3つの実務ツールに化ける。検査の陽性から始めて、事前分布・事後分布・不確実性を前提知識ゼロで解説する。