学生版 社会人版
JA EN
体系 › AI

深層学習の基礎

ニューラルネット・逆伝播・最適化・正則化

01 ·深層学習の基礎·無料·9分で読めます ニューラルネットワークを1から理解する — 1個のニューロンから多層まで ニューロン1個の中身から多層ネットワークまでを、比喩→式→動く図→numpyコードの順で。「なぜ活性化関数が必要なのか」を、線形の合成が線形にしかならないという一行の証明から腹落ちさせます。 02 ·深層学習の基礎·★ 会員·12分で読めます 誤差逆伝播を1から解説 — 連鎖律だけで全部わかる 1000万個のパラメータの勾配を、なぜ順伝播1回ぶんの手間で全部求められるのか。連鎖律の復習から計算グラフ、2層ネットの手計算1ステップ、そして勾配消失が起きる理由までを、記号を1つずつ説明しながら追います。 03 ·深層学習の基礎·★ 会員·論文·13分で読めます 正規化レイヤー全史 — BatchNormからRMSNormまで Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 深層学習を「実際に深くできるもの」に変えた正規化レイヤーを前提知識ゼロから辿る。BatchNormが効く理由をめぐる内部共変量シフト論争、LayerNormがバッチ軸を捨てた理由、そしてLLMが一様にRMSNormへ行き着いた理由まで。 04 ·深層学習の基礎·無料·論文·15分で読めます 活性化関数を1から — なぜ非線形が必要なのか Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification 層を何段積んでも、活性化関数がなければ1段と同じことしかできない——その一行の証明から始めて、sigmoidが捨てられReLUが勝ち、いまのLLMがSiLU/SwiGLUに落ち着くまでを、傾きを実際に触れる動く図とともに辿ります。 05 ·深層学習の基礎·★ 会員·論文·20分で読めます 重みの初期化と正則化 — 学習が始まる条件・続く条件 Understanding the Difficulty of Training Deep Feedforward Neural Networks 同じ設計図でも、重みに入れた乱数の大きさひとつで学習は始まりも止まりもします。分散の伝播からXavier・He初期化を導き、続いてweight decayとdropoutが「学習が続く条件」をどう作るかを、動く図とPyTorch実装、現場の落とし穴まで含めて前提知識なしで解説します。 06 ·深層学習の基礎·★ 会員·論文·17分で読めます ハイパーパラメータ探索 — 勘・グリッド・ベイズ最適化 Random Search for Hyper-Parameter Optimization 学習率やバッチサイズは勾配が教えてくれないので、探すしかありません。なぜグリッドサーチが弱いのか、探索空間を対数で切る理由、ベイズ最適化の獲得関数が何を数えているのか、早期打ち切りが探索アルゴリズムより効く理由を、Optunaのコードと現場の落とし穴まで含めて前提知識ゼロから解説します。 07 ·深層学習の基礎·★ 会員·論文·15分で読めます GNNを1から — つながりを学ぶネットワーク Semi-Supervised Classification with Graph Convolutional Networks SNSも分子も道路網も「点と線」でできています。隣の情報を集めて自分を書き換えるメッセージパッシングを前提知識ゼロから組み立て、層を深くすると全ノードが同じ顔になるオーバースムージング、そして推薦と創薬での実際の使われ方までを一本の道でつなぎます。