#overfitting

3 記事

01 ·機械学習の基礎·無料·16分で読めます 検証データの割合は何対何にするのか — 振って測ったら、効いていたのは割合ではなく件数だった 手元のデータを訓練と検証に分けるとき、8:2 なのか 7:3 なのか。候補30通りのモデル選択を2,000回くり返して、割合を5%から50%まで振って汎化誤差を測りました。山はたしかにありますが、割合を10倍変えても損は1.2倍しか動かず、割合が同じまま件数を4倍にすると6.5倍動きました。選んだ設定で全件を使い直すと山そのものが消えます。数百件を引けないときは k 分割が平均で勝ちますが、1回の勝負では半々です。 02 ·確率・統計·★ 会員·論文·16分で読めます 統計学習理論 — なぜ学習は汎化するのか Understanding Deep Learning Requires Rethinking Generalization 有限個の例しか見ていないのに、なぜ未知のデータに答えられるのか。Hoeffdingの不等式からVC次元・PAC学習まで汎化の保証を1から組み立て、それが深層学習の前で破れた経緯と、評価設計での使いどころまでを解説する。 03 ·機械学習の基礎·★ 会員·9分で読めます 過学習と評価設計 — 精度99%を疑え 訓練データに合わせすぎたモデルはなぜ現場で壊れるのか。train/validation/testの役割分担、交差検証、実務で最も多い失敗であるデータリーク、不均衡データで精度が嘘をつく仕組みと、適合率・再現率・F1の使い分けまで。