学生版 社会人版
JA EN

#basics

13 記事

01 ·LLM — 大規模言語モデル·★ 会員·論文·11分で読めます スケーリング則を1から解説 — なぜ大きくすると賢くなるのか Training Compute-Optimal Large Language Models 「モデルを大きくすれば賢くなる」を数式にしたのがスケーリング則。Kaplan則からChinchilla論文（Hoffmann et al., 2022）への転換を、400本超の実験・3つの推定法・70B対280Bの直接対決まで、論文本文だけを根拠に1から解説する。 02 ·データ構造·★ 会員·論文·9分で読めます ハッシュと近傍探索 — ベクトル検索の下地 Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs 「探す」を速くする2つの発明——完全一致のハッシュ表と、意味の近さで探すLSH・HNSW——を前提知識ゼロから解説。RAGやベクトルDBの裏で動いている近傍探索の仕組みが分かる。 03 ·計算量と評価·★ 会員·10分で読めます 計算量と実測が食い違うとき — キャッシュ・分岐・メモリ帯域 同じO(n)のコードが実測では桁で違う——O記法が意図的に捨てている「メモリの現実」を、キャッシュ階層・分岐予測・メモリ帯域の3つの側面から解き明かす。 04 ·データ構造·無料·8分で読めます データ構造の選び方 — 配列・ハッシュ・木・ヒープ 配列・ハッシュ表・木・ヒープが、それぞれ何を速くして何を諦めているのか。用途からの逆引き表と、トークナイザ・ベクトル検索・KVキャッシュといったAI実装で実際にどれが使われているかまで。 05 ·計算量と評価·無料·8分で読めます 計算量を1から理解する — オーダー記法は何を測っているのか O(n)・O(n log n)・O(n²)が実行時間としてどんな体感になるのか。定数倍とオーダーの違い、時間と空間のトレードオフ、そして理論の計算量とプロファイラの実測が食い違う理由まで、前提知識ゼロで解説します。 06 ·計算量と評価·無料·8分で読めます 計算量を1から理解する — オーダー記法は何を測っているのか O(n)・O(n log n)・O(n²)が実行時間としてどんな体感になるのか。定数倍とオーダーの違い、時間と空間のトレードオフ、そして理論の計算量とプロファイラの実測が食い違う理由まで、前提知識ゼロで解説します。 07 ·機械学習の基礎·無料·7分で読めます 機械学習とは何か — 「学習」を数式なしで理解する 「プログラムを書く」と「学習させる」は何が違うのか。ルールベースとの対比、丸暗記と汎化の差、教師あり・教師なし・強化学習の地図までを、数式をほぼ使わずに整理する入門記事。 08 ·機械学習の基礎·無料·7分で読めます 機械学習とは何か — 「学習」を数式なしで理解する 「プログラムを書く」と「学習させる」は何が違うのか。ルールベースとの対比、丸暗記と汎化の差、教師あり・教師なし・強化学習の地図までを、数式をほぼ使わずに整理する入門記事。 09 ·機械学習の基礎·★ 会員·9分で読めます 過学習と評価設計 — 精度99%を疑え 訓練データに合わせすぎたモデルはなぜ現場で壊れるのか。train/validation/testの役割分担、交差検証、実務で最も多い失敗であるデータリーク、不均衡データで精度が嘘をつく仕組みと、適合率・再現率・F1の使い分けまで。 10 ·深層学習の基礎·無料·9分で読めます ニューラルネットワークを1から理解する — 1個のニューロンから多層まで ニューロン1個の中身から多層ネットワークまでを、比喩→式→動く図→numpyコードの順で。「なぜ活性化関数が必要なのか」を、線形の合成が線形にしかならないという一行の証明から腹落ちさせます。 11 ·機械学習の基礎·無料·9分で読めます 損失関数と最適化 — モデルはどうやって「間違いから学ぶ」のか MSEと交差エントロピーはなぜあの形なのか。勾配とは何を指す矢印なのか。勾配降下法の1ステップを、式・動く図・10行のコードで分解します。学習率を上げすぎたときの発散も手元で体感できます。 12 ·機械学習の基礎·無料·9分で読めます 損失関数と最適化 — モデルはどうやって「間違いから学ぶ」のか MSEと交差エントロピーはなぜあの形なのか。勾配とは何を指す矢印なのか。勾配降下法の1ステップを、式・動く図・10行のコードで分解します。学習率を上げすぎたときの発散も手元で体感できます。 13 ·深層学習の基礎·★ 会員·12分で読めます 誤差逆伝播を1から解説 — 連鎖律だけで全部わかる 1000万個のパラメータの勾配を、なぜ順伝播1回ぶんの手間で全部求められるのか。連鎖律の復習から計算グラフ、2層ネットの手計算1ステップ、そして勾配消失が起きる理由までを、記号を1つずつ説明しながら追います。