体系
AI
機械学習の基礎から、CNN・Transformer・VLM・エージェントまで。モデルが「なぜその形になったのか」を系譜でたどる。
機械学習の基礎9学習とは何か・損失関数・過学習・評価まで、すべての土台
深層学習の基礎7ニューラルネット・逆伝播・最適化・正則化
CNN・画像認識9畳み込みの発明からResNet・軽量化・物体検出まで
- 第17 画像分類を1から理解する — 畳み込みという発明
- 第18 物体検出を1から解説（YOLO・DETRまで）
- 第19 CNNアーキテクチャの系譜 — AlexNetからResNet・EfficientNetまで
- 第20 自動運転の認識スタックを1から — カメラとLiDARは何を分担しているのか
- 第21 異常検知を1から — 正常だけから学ぶという発想
- 第22 医用画像とAI — 精度より先に問われる検証設計
- 第23 ImageNetの瞬間 — 深層学習が勝った日
- 第24 論文解説: TurboVLA — LLMを追い出したロボット方策が、RTX 4090・VRAM 1GB未満で32Hzを叩き出す
- 第25 論文解説: PhiZero — 映像を描く前に「物理の言葉」で考える世界モデル
Transformerの仕組み13Attention・位置エンコーディング・アーキテクチャの解剖
- 第26 Attention機構を1から理解する — Transformerの心臓部を絵解きで
- 第27 位置エンコーディングを1から理解する（絶対位置からRoPEまで）
- 第28 トークナイザを1から — LLMが世界を切り刻む単位
- 第29 Attentionの変種図鑑 — MQA・GQA・スライディング窓・線形注意
- 第30 Transformer完全解剖 — 埋め込みから出力まで一気通貫
- 第31 FlashAttentionを1から — 計算を増やして速くする逆説
- 第32 長文脈LLMの技術 — RoPE補間からリング注意まで
- 第33 エンコーダとデコーダ — BERTとGPTの分岐点
- 第34 【実装】BPEトークナイザを自作する — マージ規則を学習し、日本語で殴られる
- 第35 【実装】ミニGPTを自作する — 300行の言語モデル
- 第36 論文解説: Qwen3.8-Next の設計 — 精度・効率・学習安定性を1つの問題として解く
- 第37 論文解説: Gated DeltaNet はなぜ4bit量子化に耐えるのか — ハイブリッド27BのNVFP4 W4A4
- 第38 論文解説: 最初の1枚を基準にするのをやめる — Scal3R の複数参照・相対姿勢クエリ
LLM — 大規模言語モデル14スケーリング則・プロンプティング・LLMの内部挙動
- 第39 スケーリング則を1から解説 — なぜ大きくすると賢くなるのか
- 第40 プロンプトエンジニアリングの科学 — 何が実証され、何が迷信か
- 第41 Mamba と状態空間モデル(SSM) — 注意機構なしで系列を扱う
- 第42 事前学習データの作り方 — Webから教科書品質へ
- 第43 LLM評価を1から — ベンチマークの読み方と汚染問題
- 第44 ハルシネーションはなぜ起きる — 仕組みと現実的な対策
- 第45 推論時スケーリング — 「長く考える」モデルの原理
- 第46 知識蒸留を1から — 大きなモデルを小さく写す
- 第47 アライメント概説 — RLHFからConstitutional AIまで
- 第48 スケーリング懐疑論 — 「大きくするだけ」批判の系譜
- 第49 論文解説: 危機映像のAI捏造は見抜けるか — RA-Benchが暴いた検出器の実力
- 第50 論文解説: SA-MRPO — 満点の科目を勉強し続けるな。飽和した報酬から勾配を引きはがす
- 第51 論文解説: Agentic Artifact Creation — 「生成」と「納品物を組み立てる」はどう違うのか
- 第52 論文解説: Puro-2B — コンシューマGPUで2Bモデルを$6.9Kからゼロ事前学習する
VLM・マルチモーダル6CLIP・ViT・画像と言語を同じ空間に置く技術
生成モデル10拡散モデル・VAE・GAN。「作る」側のモデル
- 第59 拡散モデルを1から理解する — ノイズを足して、引く
- 第60 VAEを1から — 「圧縮して戻す」に確率を混ぜると生成になる
- 第61 GANの栄枯盛衰 — 敵対で学ぶ発明と、拡散に負けた理由
- 第62 Flow Matchingを1から — 拡散の次に来た「まっすぐ運ぶ」生成
- 第63 CFGとサンプラー — 生成AIの「強さ」パラメータの正体
- 第64 拡散モデルの数学 — スコアとSDEで見る生成
- 第65 画像生成の実務地図 — SD・ControlNet・LoRA適用
- 第66 音楽・音声生成を1から — トークン化された音
- 第67 3D生成のいま — NeRFからGaussian Splattingまで
- 第68 【実装】拡散モデルを自作する — MNISTからはじめる
学習手法・アライメント13事前学習・SFT・RLHF/DPO・ファインチューニング
- 第69 Instruction Tuning と RLHF を1から解説 — 指示に従うモデルはどう作られるか
- 第70 学習率スケジュール — warmupとcosineの理由
- 第71 混合精度学習 — fp16/bf16/fp8で壊れずに速くする
- 第72 データセット構築の実務 — 集める・洗う・混ぜる
- 第73 DPOとその後 — RLHFを単純化する系譜
- 第74 継続学習と破滅的忘却 — 学び続けるモデルの難しさ
- 第75 学習が壊れた時の診断学 — loss発散・NaN・停滞の切り分け
- 第76 データとモデルのバージョン管理 — 再現できない実験は存在しない
- 第77 論文解説: ABSeeker — 答えから逆算して「良い一手」を採点する、長距離検索エージェントの訓練法
- 第78 論文解説 PAWBench — 動画生成は「起こりうる未来の確率」まで当てられるのか
- 第79 論文解説: PaperGym — 論文1本を「採点基準つきの練習場」に変えて研究計画を学習させる
- 第80 論文解説: StudentSim — 「その生徒そのもの」を訓練で作る学習者シミュレータ
- 第81 論文解説: It Takes Two to Match — 検索の「両側」をRLで共進化させるCoGR
- LoRA と全パラメータ微調整 — 何を失い、何を得るか 執筆予定
推論・高速化29KVキャッシュ・量子化・バッチング・サービング
- 第82 KVキャッシュを1から理解する — 推論高速化の核心
- 第83 LLM量子化を1から解説 — なぜ精度を落としても動くのか
- 第84 投機的デコーディングを1から解説 — 小さな下書きモデルで、出力を一切変えずにLLMを速くする
- 第85 LLMサービングを1から — vLLM・連続バッチングで、GPUを遊ばせない
- 第86 構造化出力と制約デコーディング — JSONを壊さない仕組み
- 第87 GPUメモリ不足サバイバル — OOMの原因と対処の全パターン
- 第88 推論コスト削減の実務 — 何から手を付けるか
- 第89 プロンプトキャッシュとコンテキスト設計 — 前方一致という一本の制約が、請求額を桁で変える
- 第90 論文解説: The Personalization Mirage — LLMは「あなた」を勝手に作り上げ、自己申告は逆を指す
- 第91 論文解説: DAPD — 蒸留の教師が持つ「カンニングペーパーの幻想」を二重アンカーで断つ
- 第92 論文解説: CodeNib — コーディングエージェントにリポジトリの文脈を「配膳」する多ビューデータシステム
- 第93 論文解説: BDH-CQ — 言葉にせずに考えるAI。再帰メモリ×潜在推論がARCのコスト効率を塗り替えた
- 第94 論文解説: AgentOPSD — 「どのターンが勝敗を分けたか」をベイズ信念の再帰更新で見つけるエージェントRL
- 第95 論文解説: 正解も強い教師もなしで伸びる — u-OPSD が使う「自分の多数決」
- 第96 論文解説: Agentic ESOpt — 逆伝播をやめて「モデルを揺らす」だけで、長丁場のLLMエージェントを鍛える
- 第97 論文解説 WarpSAC: 強化学習の「安定化装置」は、データが潤沢になると足枷に変わる
- 第98 論文解説 TTPO: 正解ラベルなしで、テストの最中にモデルを鍛える
- 第99 論文解説: Self-OPD — 教師モデルなしで、画像生成モデルが自分を蒸留する
- 第100 論文解説: CyberFactory — 野生のCVEを「実行できる訓練問題」に変える
- 第101 論文解説: DART-SD — ツール呼び出しエージェントの「ダイヤ型の解空間」を壊さずに学習する
- 第102 論文解説 SMELT — 「同じ層をもう一周」は、予算を揃えても得なのか
- 第103 論文解説: Normalized Low-Rank Adaptation — LoRAの「入口行列」を正規化するだけで効く理由
- 第104 論文解説: 本番トラフィックから事後学習へ — 社内200アプリを1つの自前LLMに寄せる
- 第105 論文解説: On-Policy Distillationは本当に蒸留しているのか — ノイズまみれの教師から自己改善へ
- 第106 論文解説: LatentPress — 圧縮した文脈を、テキストにも画像にも戻さずLLMに直接読ませる
- 第107 論文解説: Language Models Can Control Their Own Attention — モデルに「どこを見るか」を宣言させる
- 第108 論文解説: Compile by Training — 自然言語の仕様を「手元で動く関数」にコンパイルする
- 第109 論文解説: 訓練データが1問でも、オンポリシー蒸留は数百ステップ伸び続ける
- 第110 論文解説: Random Attention — KVキャッシュの追い出しは「ランダムで十分」だった
- KVキャッシュ圧縮 — 量子化・追い出し・共有で長文推論を軽くする 執筆予定
RAG・検索拡張10埋め込み・チャンク戦略・リランキング・評価
- 第111 RAGの基礎と設計パターン — 埋め込み・チャンク・リランキング・評価を1から
- 第112 RAG vs ファインチューニング — どちらを、いつ選ぶか
- 第113 埋め込み(Embedding)を1から理解する — word2vecの直感から文脈化埋め込みまで
- 第114 推薦システムと埋め込み — RAGと同じ数学、違う目的
- 第115 チャンキング戦略 — 分け方で検索は決まる
- 第116 GraphRAGを1から — 知識グラフと検索の融合
- 第117 RAG評価の実務 — 「なんとなく良い」を数字にする
- 第118 【実装】ベクトルDBを自作する — 線形走査からHNSWへ
- 第119 論文解説: WeMM-Embedding — 文も画像も動画も「同じ物差し」に載せるWeChatの埋め込みモデル
- 第120 論文解説: Hi-Q — 質問を「検索できる粒度」まで、証拠を見ながら割っていく
エージェント55ツール使用・計画・マルチエージェント
- 第121 LLMエージェントを1から解説 — ツール使用とループの設計
- 第122 End-to-End運転を1から — 認識から制御までを1つのネットワークで
- 第123 MCPとツールプロトコル — エージェントの手をつなぐ規格
- 第124 マルチエージェント設計パターン — 分担・討論・検証
- 第125 エージェントの記憶設計 — 短期・長期・エピソード
- 第126 エージェント評価 — ベンチとハーネスの作法
- 第127 AlphaGoを1から — 探索と学習の結婚
- 第128 【実装】エージェントループを自作する — ツール呼び出しの最小形
- 第129 論文解説: SWE-Bench ProMax — 多言語・大規模リファクタリングでコーディングエージェントの本当の実力を測る
- 第130 論文解説: Macaron-V1 — 凍結ベース×LoRA混合で「出荷後も育つ」エージェントモデルを作る
- 第131 論文解説: EnvACE — 環境まで自分で演じる「world rehearsal」がエージェントRLの環境不足を解く
- 第132 論文解説: Video-DeepResearch — 動画を「見て、調べ尽くす」次世代マルチモーダル・エージェント
- 第133 論文解説: ToolArtist — 検索するか、描くか、描き直すか。それも自分で決める画像生成エージェント
- 第134 論文解説: Recursive Synthesis — 検証済みタスクを「増築」して、長時間ターミナル課題を4万件量産する
- 第135 論文解説: Qwen-UI-Agent — スマホもPCも操る「実世界基準」のGUIエージェントはこう作られた
- 第136 論文解説: OSReward — AIの「採点者」は信用できるか。コンピュータ操作エージェントの報酬を測り直す
- 第137 論文解説: Metis — 記憶を外付けせず、モデルの中に住まわせる「Memory Foundation Model」
- 第138 論文解説: MerchantBench — LLMエージェントは1年間ネットショップを経営できるか。人間の27.3%しか稼げない理由
- 第139 論文解説: Mental World Modeling — 物理だけでなく「心」まで遷移させるワールドモデル
- 第140 論文解説: LongHorizon-Harness — 長時間タスクは「実行」ではなく「状態管理」で解く
- 第141 論文解説: Frontis-MA1 — 「AIを作るAI」を鍛える。MLエンジニアリングで再帰的自己改善に一歩迫るOpenMLE
- 第142 論文解説: ComBodied Agents — エージェントの「作用対象」を人そのものに置き直す
- 第143 論文解説: 共進化するエージェント系 — 人間の設計を超えた自己進化への三段階
- 第144 論文解説: Zetta ζ — 方策を凍結したまま、ロボットが実行中に自分を直す「閉ループ・ハーネス」
- 第145 論文解説: StateM — モデルの重みを1gも動かさず、Terminal-Bench 2.1で95.3%・実行費15ドルへ
- 第146 論文解説 SemaPLC — 「できました」と言わせない検証ゲート型エージェント
- 第147 論文解説: OmniScientist — 生データを直接「見る」AI科学者。36ケースを1つのエンジンで走らせる
- 第148 論文解説: FACET — 指示・環境・解答・採点を「同じ実行状態」に接地させる課題合成
- 第149 論文解説: EnvHarness — 練習場を作り直さず、外から「治具」をかぶせてエージェントを鍛える
- 第150 論文解説: Agent Skillsはなぜ効くのか、そしてどこで壊れるのか
- 第151 論文解説: Co-RL — 正解ラベルなしでも、群れの多様性から推論が立ち上がる
- 第152 論文解説: SWE-bench Science — コーディングエージェントは「科学のコード」を直せるか
- 第153 論文解説: FreeToken — 手元のPCを「一台の推論基盤」として使い切る帯域適応型MoEサービング
- 第154 論文解説: Embodied-Navigator（TAMP-Nav） — VLMに「指を差させる」と、ナビゲーションは速く強くなる
- 第155 論文解説: ASI-Bench — 手引きを1枚ずつ剥がして、AIの「自力」を測る
- 第156 論文解説: FrontierChallenge — 科学の仕事を「最後まで納品できたか」で測る
- 第157 論文解説: JIT-Agent — エージェントの「ハーネス」をその場で書き起こすモデル
- 第158 論文解説: ZimaBlue — 12万時間の一人称動画でロボットを汎化させる
- 第159 論文解説: 良いエージェント学習データとは何か — ACE（正確さ・複雑さ・多様性）という見方
- 第160 論文解説 UrbanGround: 街に降ろされたMLLMエージェントは、どこで崩れるのか
- 第161 論文解説: UI-Venus-2 — 画面を見て操作するAIを、ベンチマークから実運用へ
- 第162 論文解説: Training Agents to Evolve with Their Harness — ハーネスごと進化するエージェントを訓練する
- 第163 論文解説: StarHarness — モデルを凍結したまま「ハーネス」を進化させる
- 第164 論文解説: SecOPD — トークン1個ずつ採点して、適応的プロンプトインジェクションを1桁下げる
- 第165 論文解説: Repo-To-Skill — GitHubリポジトリを「AIのためのスキル」に蒸留する
- 第166 論文解説: PILOT in the Loop — 走っている最中に直す「ライブ自己改善」
- 第167 論文解説: LoopArena — コーディングエージェントを「操縦する側」を測る
- 第168 論文解説: Code World Model — コーディングエージェントを「世界の脳」にする
- 第169 論文解説: Code as Worlds — 世界を「実行できるコード」として書き起こすエージェント
- 第170 論文解説: AutoSaddler — エージェントの失敗ログから「壊れないハーネス」を自動で育てる
- 第171 論文解説: HarnessDev — LLMは自分のエージェント・ハーネスを作り、育てられるか
- 第172 論文解説: EarlyEval — エージェント評価を「途中で打ち切って」安くする
- 第173 論文解説: Aspire — モデルは「曖昧な目標」から自己進化できるか
- 第174 論文解説: Terminal-Universe — エージェントの作業ログを、何度でも使える実行環境に戻す
- 第175 論文解説: CogEvol — 報酬が測れないものを、強化学習は静かに壊す
- 論文解説: Knowing When Not to Reuse: Conditional Experience Transfer in Autonomous LLM Post-Training 執筆予定
- 論文解説: Editable Visual Design 執筆予定
- 論文解説: S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? 執筆予定
- 論文解説: WHALE: A Simple Recipe for Joint Harness-Weight Optimization 執筆予定
- 論文解説: Iris: Climbing to the Search Frontier 執筆予定
- 論文解説: Bilevel Coordinated Reflection: A Game-Theoretic Approach to Multi-Agent LLM Systems 執筆予定
音声系9音声認識・合成・音声LLM
- 第176 論文解説: Whisperはなぜ頑健なのか — 大規模弱教師あり学習
- 第177 音声認識を1から — 波形からテキストまで
- 第178 音声合成を1から — テキストから声まで
- 第179 音の表現 — メルスペクトログラムとトークン化
- 第180 論文解説: SwanTale — 参照音声なしで「言葉から声をデザインする」統合音声・オーディオ生成
- 第181 論文解説: Interpretable MEG Decoding of Perceived Speech — 脳磁図から「聞いた音声」を当てるAIの中身を、脳地図として読む
- 第182 論文解説: VoiceMem — 音声対話に「左脳と右脳」の記憶を、遅延ゼロで
- 第183 論文解説: Motion-Omni — 話しながら全身が動く、end-to-endの音声対話モデル
- 第184 論文解説: Last Translation Benchmark — 「モデルが壊れる例」と検証ルールで翻訳を測り直す
時系列データ系5RNN/LSTMから時系列基盤モデルまで
モデル系統図鑑7Gemma系・Llama系・Qwen系など系統別の特徴と使い分け
論文解説13重要論文を1本ずつ、本文を根拠に背景から実務含意まで
- 第197 論文解説 LoRA: Low-Rank Adaptation of Large Language Models — なぜ低ランクで足りるのか
- 第198 代理指標では、もう守れない — 自動運転 2026年8月新着8本を束ねて読む
- 第199 論文解説 Attention Is All You Need — 再帰を捨てたモデルは何を証明したのか
- 第200 Mixture of Experts (MoE) を1から解説 — Switch Transformerのルーティングと負荷分散
- 第201 論文解説: Alpamayo — 自動運転の推論モデル
- 第202 記号主義vs接続主義 — 60年論争の現在地
- 第203 論文解説: WorldClaw — テキスト1文から「歩ける・編集できる」3Dオープンワールドをエージェントが建設する
- 第204 論文解説: AskChem — 検索の単位を「論文」から「出典付きクレーム」に変える文献インフラ
- 第205 論文解説 Large Discovery Models — LLMに「次に何を試すべきか」を教える価値信号
- 第206 論文解説: Apodex 1.1 — 「完了した仕事」を単位にエージェントをスケールさせる
- 第207 論文解説: ゲーム開発を「検証できる軌跡データ工場」にする — RLHEV と AWoMo
- 第208 論文解説 J-Zero: 出題者・解答者・審判を同時に育てる「データゼロ」自己進化
- 第209 論文解説 RoboTok — ネット動画から「手の動きが似た手本」を掘り出すデータエンジン
蒸留と圧縮9大きなモデルの能力を小さなモデルへ写す。損失関数・データ設計・失敗パターンまで
- 第210 蒸留の数学 — なぜ「柔らかい答え」から学べるのか
- 第211 蒸留レシピ図鑑 — logit・feature・attention・self をどう使い分けるか
- 第212 蒸留データの設計 — 教師に何を答えさせるか
- 第213 蒸留が失敗するとき — 容量ギャップと過信の伝染
- 第214 オンポリシー蒸留 — 生徒自身の出力で教わる
- 第215 蒸留・量子化・枝刈りの使い分け — 小さくする3つの道
- 第216 エージェントを蒸留する — 長い軌跡をどう圧縮するか
- 第217 蒸留モデルの評価 — 「教師に近い」は良い指標か
- 第218 【実装】蒸留を自作する — 100行で小さなモデルを育てる
評価と審判5AIをどう測るか。ベンチマーク・LLM審判・汚染・報酬ハッキングまで
半導体
砂から取り出したシリコンが、どうして計算をするようになるのか。物質の性質から演算器・メモリ・電力・製造まで。
デバイス物理5バンド・ドーピング・pn接合・MOSFET・CMOS
計算機アーキテクチャ5論理回路・クロック・メモリ階層・メモリの壁
スケーリングと電力4ムーアの法則の終焉・電力の物理・データ移動のコスト
製造とパッケージ4ウェハ・露光・歩留まり・チップレット・3D実装
アクセラレータ3数の表し方と量子化・GPU/NPU/TPUの設計様式・エッジ実装
サプライチェーン6素材・装置・EDA・IP。チップが生まれる前の「上流」で誰が何を握っているか
計算アルゴリズム
計算量という物差しから、探索・動的計画法・行列計算・並列化まで。AIの下で実際に動いている計算の作法。
計算量と評価5オーダー記法・時間と空間のトレードオフ・実測との乖離
データ構造5配列・木・ハッシュ・ヒープ。どれを選ぶと何が速くなるのか
- 第256 データ構造の選び方 — 配列・ハッシュ・木・ヒープ
- 第257 ハッシュと近傍探索 — ベクトル検索の下地
- 第258 キャッシュに優しいコード — 同じO(n)で10倍差がつく理由
- 第259 B木とLSM木 — データベースの心臓
- 第260 確率的データ構造 — 数えずに数える
探索と最適化4全探索・貪欲法・動的計画法・分枝限定・近似
数値計算6行列積・分解・FFT・反復法。AIの計算はほぼここに帰着する
並列・分散3並列化の限界・GPUの実行モデル・分散学習の通信
AIのための数学
AIの論文を読むために本当に必要な数学だけを、記号の意味から。線形代数・微積・確率統計・情報理論・最適化。
線形代数6ベクトル・行列・固有値・特異値分解。次元とは何か
微分と最適化の数学6偏微分・勾配・連鎖律・凸性・ラグランジュ
確率・統計10分布・期待値・ベイズ・最尤推定・サンプリング
- 第286 AIのための確率・統計 — モデルの出力は確率である
- 第287 ベイズの定理をAIで使う — 事前分布・事後分布・不確実性
- 第288 ベイズ的に考える — 事前・尤度・事後の実務感覚
- 第289 マルコフ連鎖を1から — 「今だけ見る」確率過程
- 第290 確率分布図鑑 — 正規・ポアソン・指数族はどこから来るか
- 第291 モンテカルロ法を1から — 積分をサイコロで解く
- 第292 統計的検定とABテスト — p値の使い方と誤用
- 第293 統計学習理論 — なぜ学習は汎化するのか
- 第294 最適輸送 — 分布を運ぶ数学
- 第295 カーネル法とガウス過程 — NN以前の王者
情報理論5エントロピー・KL情報量・交差エントロピー。損失関数の出どころ
メディアと圧縮
JPEGはなぜ劣化するのか。PNGはなぜ劣化しないのか。画像・動画・音声の符号化を、情報理論と現場の設定値の両側から。
符号化の理論3可逆と非可逆・エントロピー符号化・ハフマン・算術符号
画像圧縮3JPEG・PNG・WebP・AVIF。DCTと量子化、可逆圧縮の仕組み
動画圧縮4MPEG・H.264・AV1。動き補償・GOP・レート制御
- 第307 動画圧縮を1から — 動き補償とGOP
- 第308 H.264からAV1へ — コーデック世代交代の実際
- 第309 動き補償を1から — 動画圧縮の9割はここ
- 第310 ニューラル圧縮 — 学習するコーデック
音声圧縮4MP3・AAC・Opus。聴覚マスキングという「捨て方」
現場のメディア実務3配信のビットレート設計・エンコード設定・画質評価。仕事で問われること
システム基盤
AIを動かす足場そのもの。OS・ネットワーク・データベース・言語処理系・セキュリティ・クラウドを、仕組みから理解する。