ホーム › AI

◉ FIELD

AI

機械学習の基礎から、CNN・Transformer・VLM・エージェントまで。モデルが「なぜその形になったのか」を系譜でたどる。

27章 33基礎 248論文解説 1動かす

この巻は ①教科書 → ②基礎 → ③論文解説 → ④ラボ の順に進むと、前提を飛ばさずに読めます。

① 教科書

  1. 01並べると計算になる ── 線形代数
  2. 02どちらへ動かせば良くなるか ── 微分
  3. 03どれか1つに決まらないものを数で書く ── 確率
  4. 04驚きの大きさを測る ── 情報理論
  5. 16前史 ── パーセプトロンと二度の冬
  6. 17畳み込みという発明
  7. 182012年、AlexNetの衝撃 ★
  8. 19深くする戦い ── VGGからResNetへ ★
  9. 20軽くする戦い ── MobileNet系 ★
  10. 21検出とセグメンテーション ★
  11. 22Attentionとトランスフォーマ ★
  12. 23ViT ── 画像を単語のように扱う ★
  13. 24CLIP ── 言葉と画像を同じ地図に ★
  14. 25VLMの成立と現在 ★
  15. 26エッジで動かすときの現実 ★
  16. 01規則を書くか、規則を当てるか
  17. 02手元に合わせすぎる ── 過学習
  18. 03差を下まで届ける ── 誤差逆伝播
  19. 04どれだけ動かし、いつ止めるか ── 学習率と最適化
  20. 05構造に前提を埋める ── 畳み込みと再帰
  21. 06どこを見るかを入力が決める ── 注意機構 ★
  22. 07ヘッドを分け、ブロックに組む ── Transformer の全体像 ★
  23. 08大きくすると何が起きるか ── スケーリングと事前学習 ★
  24. 09指示に従わせる ── 指示チューニングと嗜好最適化 ★
  25. 10覚えていないことをどう使うか ── 埋め込みと検索 ★
  26. 11作ったものを使うとき ── 推論の値段 ★
  27. 12良くなったと言う前に ── 評価の作り方 ★

② 基礎

前提知識を置かずに、その分野の考え方を組み立てる記事。ジャンル順に並べています。

機械学習の基礎

学習とは何か・損失関数・過学習・評価まで、すべての土台

  1. 機械学習とは何か — 「学習」を数式なしで理解する 無料
  2. 損失関数と最適化 — モデルはどうやって「間違いから学ぶ」のか 無料
  3. 過学習と評価設計 — 精度99%を疑え ★ 会員
  4. データリークと実験管理 — 精度が高すぎたら疑うこと ★ 会員
  5. 不均衡データの実務 — 99%が正常のとき何を最適化するか ★ 会員
  6. MLシステム設計 — モデルの外側の9割 ★ 会員
  7. 検証データの割合は何対何にするのか — 振って測ったら、効いていたのは割合ではなく件数だった 無料

深層学習の基礎

ニューラルネット・逆伝播・最適化・正則化

  1. ニューラルネットワークを1から理解する — 1個のニューロンから多層まで 無料
  2. 誤差逆伝播を1から解説 — 連鎖律だけで全部わかる 無料

CNN・画像認識

畳み込みの発明からResNet・軽量化・物体検出まで

  1. 画像分類を1から理解する — 畳み込みという発明 無料
  2. 自動運転の認識スタックを1から — カメラとLiDARは何を分担しているのか 無料
  3. 異常検知を1から — 正常だけから学ぶという発想 ★ 会員
  4. 医用画像とAI — 精度より先に問われる検証設計 ★ 会員

Transformerの仕組み

Attention・位置エンコーディング・アーキテクチャの解剖

  1. Attention機構を1から理解する — Transformerの心臓部を絵解きで 無料

LLM — 大規模言語モデル

スケーリング則・プロンプティング・LLMの内部挙動

準備中

VLM・マルチモーダル

CLIP・ViT・画像と言語を同じ空間に置く技術

準備中

生成モデル

拡散モデル・VAE・GAN。「作る」側のモデル

  1. VAEを1から — 「圧縮して戻す」に確率を混ぜると生成になる 無料

学習手法・アライメント

事前学習・SFT・RLHF/DPO・ファインチューニング

  1. データとモデルのバージョン管理 — 再現できない実験は存在しない ★ 会員

推論・高速化

KVキャッシュ・量子化・バッチング・サービング

  1. KVキャッシュを1から理解する — 推論高速化の核心 無料
  2. LLM量子化を1から解説 — なぜ精度を落としても動くのか 無料
  3. 推論コスト削減の実務 — 何から手を付けるか 無料
  4. プロンプトキャッシュとコンテキスト設計 — 前方一致という一本の制約が、請求額を桁で変える 無料

RAG・検索拡張

埋め込み・チャンク戦略・リランキング・評価

  1. RAGの基礎と設計パターン — 埋め込み・チャンク・リランキング・評価を1から 無料
  2. RAG vs ファインチューニング — どちらを、いつ選ぶか 無料
  3. チャンキング戦略 — 分け方で検索は決まる 無料

エージェント

ツール使用・計画・マルチエージェント

  1. MCPとツールプロトコル — エージェントの手をつなぐ規格 無料

音声系

音声認識・合成・音声LLM

  1. 音声認識を1から — 波形からテキストまで 無料

時系列データ系

RNN/LSTMから時系列基盤モデルまで

  1. RNNとLSTMを1から理解する — Transformer時代になぜ学ぶのか 無料
  2. 時系列予測を1から解説 — 古典手法から基盤モデルまで 無料

モデル系統図鑑

Gemma系・Llama系・Qwen系など系統別の特徴と使い分け

  1. Llama系を1から解説 — オープンLLMの本流 無料
  2. Qwen系を1から解説 — HuggingFace DL数トップ勢の実力 ★ 会員
  3. DeepSeek系を1から — MoEと蒸留で殴り込んだ系譜 無料
  4. GPT系譜 — GPT-1から現在までの設計思想 ★ 会員
  5. Mistral系を1から — 小型高性能の欧州勢 ★ 会員
  6. オープンvsクローズド — 重み公開の経済学と安全論争 ★ 会員

論文解説

重要論文を1本ずつ、本文を根拠に背景から実務含意まで

準備中

蒸留と圧縮

大きなモデルの能力を小さなモデルへ写す。損失関数・データ設計・失敗パターンまで

準備中

評価と審判

AIをどう測るか。ベンチマーク・LLM審判・汚染・報酬ハッキングまで

準備中

③ 論文解説

元の論文を読んで書いた解説。各記事に論文ページとPDFへのリンクを付けています。

  1. 論文解説: Holi-World — 一人称の録画から「部屋の台帳」を自動で作り、空間と時間の推論を教える ★ 会員 arXiv:2610.26549
  2. 論文解説: Refusal in Language Models Is Mediated by a Single Direction — 「断る」はモデル内部の1本の方向だった ★ 会員 arXiv:2406.11717
  3. 論文解説: Dynamic Band Splitting — 音源分離の「帯の仕切り」を、混ざった音ごとに学習で動かす ★ 会員 arXiv:2610.14993
  4. 論文解説: Transformers Stop Thinking Too Early — 3行で止まる参照追跡を、1層のランク8 LoRAが50行へ伸ばす ★ 会員 "arXiv:2609.36585
  5. 論文解説: From Evidence to Action: How Tool-Using Agents Fail — 失敗の診断指標と介入実験を本文から読む ★ 会員 arXiv:2610.07753
  6. 論文解説: EVISKILL — エージェントの手順書を「再生できる証拠」で書き換える ★ 会員 arXiv:2610.05030
  7. 論文解説: SafeActBench — 道具を使うエージェントは「実行」より手前で失敗する 無料 arXiv:2610.07753
  8. 論文解説: STEPQuant — Delta則の再帰状態は「いつ・どこの」量子化誤差が効くのか ★ 会員 arXiv:2609.38169
  9. 論文解説: Persona Dosing — LLMの性格の「強さ」を点数で指定する活性化ステアリング ★ 会員 arXiv:2609.36388
  10. 論文解説: PointWAM — 世界を「場面」と「手」の3D点の軌跡に分けて予測し、人間の動画からロボットの器用な手を学ぶ ★ 会員 arXiv:2610.02840
  11. 論文解説: Retrieval-Augmented Skill Optimization via Cross-Harness Adaptation — 他人のスキルを借り、自分の環境の言葉に書き直す ★ 会員 arXiv:2609.38024
  12. 論文解説: Video Generation Models: A Survey of Post-Training and Alignment — 動画生成AIを「言うことを聞く」ようにする4つの道具箱 ★ 会員 arXiv:2610.00812
  13. 論文解説: 言い回しで点が変わるAI査読者をどう測り、どう直すか — RobustReview と SciCore ★ 会員 arXiv:2609.39027
  14. 論文解説: False Frontiers — 自己進化する検索エージェントの「共謀カンニング」を診断して断つ ★ 会員 arXiv:2609.39102
  15. 論文解説: Beyond Teacher Assignment — 複数の専門家を1つのモデルに蒸留するとき「誰が教えるか」だけでは足りない理由 ★ 会員 arXiv:2609.35347
  16. 論文解説: Post-Training Leaves Behavioral Shadows on Unrelated Decisions — 無関係な「1単語」から能力が移る ★ 会員 arXiv:2609.29233
  17. 論文解説: Disaggregated Quantization — LLMの「読む」と「書く」で量子化を分ける ★ 会員 arXiv:2609.26333
  18. 論文解説: RayOrch — 親子関係を保ったままGPUで束ねる、基盤モデル用データ前処理エンジン ★ 会員 arXiv:2609.18703
  19. 論文解説: RewardVerse — 採点表を先に作ってから動画を採点する報酬モデル（RGPO） ★ 会員 arXiv:2609.22947
  20. 論文解説: JEV-as-a-Judge — 自信があれば採用、迷ったら上位の審査員へ ★ 会員 "arXiv:2609.26550
  21. 論文解説: Bellman Policy Optimization — 価値モデルなしで「方策ミラー降下」をLLMに持ち込む ★ 会員 arXiv:2609.15987
  22. 論文解説: Just-in-Time Memory — エージェントの記憶は「読むとき」に整える ★ 会員 arXiv:2609.27334
  23. 論文解説: WanPE — 動画生成のプロンプトを「監督の撮影計画」に変える ★ 会員 arXiv:2609.30221
  24. 論文解説: D-RAC — PDFに正規化し、画像を1回だけ読んでMarkdown化するRAG取り込み ★ 会員 arXiv:2609.24220
  25. 論文解説: Ovis-Embedding — 文字・画像・動画・音声を1つの物差しで測る埋め込みモデル ★ 会員 arXiv:2609.25165
  26. 論文解説: Training Object Permanence in World Models — 動画モデルに「見えなくても物はそこにある」を教える ★ 会員 arXiv:2609.28654
  27. 論文解説: Your Transformer Can Hold Two Thoughts at Once — 2本の文章を混ぜてもLLMは両方の続きを覚えている ★ 会員 arXiv:2609.29845
  28. 論文解説: DeepSeek-V4.1-Flash — KVキャッシュ圧縮をどこまで詰められるか ★ 会員 arXiv:2609.19969
  29. 論文解説: IntBMoE — 全専門家を「参加」させつつ、計算は少数ブロックだけで済ませるMoE ★ 会員 arXiv:2609.21346
  30. 論文解説: Negative Self-Distillation — 「ダメな自分」から離れて推論を学ぶ ★ 会員 arXiv:2609.11699
  31. 論文解説: SpeakerMem-R1 — グループチャットの「誰が・誰について・いつ」を忘れない二重記憶 ★ 会員 arXiv:2609.26780
  32. 論文解説: When EOS Tokens Disagree — オンポリシー蒸留で生徒が「止まれなくなる」原因は終了トークンの食い違いだった ★ 会員 arXiv:2609.20511
  33. 論文解説: An Open Recipe for IMO Gold — オープンモデルで国際数学オリンピック金メダル水準に届いた「生成・検証・修正」の設計 ★ 会員 arXiv:2609.10712
  34. 論文解説: Beyond Solver Verdicts — ソルバーが「正しい」と言っても翻訳は間違っているかもしれない ★ 会員 arXiv:2609.11085
  35. 論文解説: FreeFlow — 専用部品ゼロの階層Transformerでオプティカルフローを解く ★ 会員 arXiv:2609.11486
  36. 論文解説: OmniEdu — 「解く・位置づける・見立てる・導く」の4能力で作る教育用オープンLLM ★ 会員 arXiv:2609.23088
  37. 論文解説: Steering Geometry — LLMの「操縦ベクトル」は人間の価値観の地図を映しているか ★ 会員 arXiv:2609.06289
  38. ゼロから学ぶAdam — 2つの移動平均と、誰も説明しないバイアス補正 無料 arXiv:1412.6980
  39. 論文解説 Feyospace-v1 — 7人のチームが「環境」でサイバーAIを鍛えた話 ★ 会員 arXiv:2609.08418
  40. 論文解説: LimiX-2 — 「答えの列」ではなく「表全体の仕組み」を学ぶ表データ基盤モデル ★ 会員 arXiv:2609.17488
  41. ゼロから学ぶLoRA — 細い行列2枚だけを学習して巨大モデルを微調整する 無料 arXiv:2106.09685
  42. QLoRA — 650億パラメータのモデルをGPU 1枚で微調整する 無料 arXiv:2305.14314
  43. 論文解説: DataFlex-RL — RLVRの「データ政策」11手法は一様サンプリングに勝てたか。12シードで測り直した結果 ★ 会員 arXiv:2609.06107
  44. 論文解説: SAS — 疎注意の「どのブロックを読むか」を言語モデル損失で端から端まで学習する ★ 会員 arXiv:2609.13141
  45. 論文解説 MetroLLM-Bench — 駅の券売機を LLM に任せると何点取れるか。2.6GBの4Bモデルが GPT-5.6 に並んだ理由と、27Bで微調整が逆効果になった理由 ★ 会員 arXiv:2609.10016
  46. 論文解説 CosmoH2G — 人の手の「ひっくり返す」動きを、二本指グリッパに写す ★ 会員 arXiv:2609.07498
  47. 論文解説: Online Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training — 122B・256Kトークンで下書きモデルを方針と一緒に学習させる ★ 会員 "arXiv:2609.07108
  48. 論文解説: WearableQA — 実ユーザー500日分のウェアラブル記録でLLMの「健康推論」を測る ★ 会員 arXiv:2609.05405
  49. 論文解説: X-AuT — 音声エンコーダの層を「2枚ずつ」抜いて、大きい教師で埋め戻す ★ 会員 arXiv:2609.11412
  50. 論文解説: BeaconKV — 「思考を読み返す瞬間」を先読みしてKVキャッシュを捨てる ★ 会員 arXiv:2609.04971
  51. 論文解説: AuK — 音声の「作る」と「直す」を1つのモデルに統一する ★ 会員 arXiv:2609.08936
  52. 論文解説: On-Policy Reverse Distillation — 弱い教師を「目標」でなく「方向」として使う ★ 会員 arXiv:2609.08798
  53. 論文解説: Iris — 検索エージェントを「登らせる」問題合成とSFT↔RL交互学習 ★ 会員 arXiv:2609.04304
  54. KVキャッシュ圧縮 — 量子化・追い出し・共有で長文推論を軽くする 無料 arXiv:2402.02750
  55. 論文解説 Editable Visual Design — 画像生成を「下書き」に降格させ、成果物はHTMLで納品する ★ 会員 arXiv:2609.04034
  56. 論文解説: FlowBalance — 検証器で接地した自己改善、自分の推論経験から分布を学ぶ ★ 会員 arXiv:2609.03241
  57. LoRA と全パラメータ微調整 — 何を失い、何を得るか 無料 arXiv:2106.09685
  58. 論文解説: RealSWE — 「バグ直して」だけの依頼でコーディングエージェントを測り直す ★ 会員 arXiv:2608.27831
  59. 論文解説: S³Gym — 自己テストと自己採点は、自己改善になるのか ★ 会員 arXiv:2608.31100
  60. 論文解説: WHALE — モデルの重みとハーネスを交互に鍛える ★ 会員 arXiv:2609.00196
  61. 論文解説: いつ経験を「再利用しない」か — 自律ポストトレーニングの条件付き経験転移(BCIT) ★ 会員 arXiv:2608.26730
  62. 論文解説: Motion-Omni — 話しながら全身が動く、end-to-endの音声対話モデル ★ 会員 arXiv:2609.04250
  63. 論文解説: CogEvol — 報酬が測れないものを、強化学習は静かに壊す ★ 会員 arXiv:2608.30968
  64. Mamba と状態空間モデル(SSM) — 注意機構なしで系列を扱う 無料 arXiv:2111.00396
  65. 論文解説: Random Attention — KVキャッシュの追い出しは「ランダムで十分」だった ★ 会員 arXiv:2609.03430
  66. 論文解説: 訓練データが1問でも、オンポリシー蒸留は数百ステップ伸び続ける ★ 会員 arXiv:2609.04172
  67. 論文解説: Terminal-Universe — エージェントの作業ログを、何度でも使える実行環境に戻す ★ 会員 arXiv:2609.04148
  68. 論文解説 RoboTok — ネット動画から「手の動きが似た手本」を掘り出すデータエンジン ★ 会員 arXiv:2609.03199
  69. 論文解説: 最初の1枚を基準にするのをやめる — Scal3R の複数参照・相対姿勢クエリ ★ 会員 arXiv:2609.04201
  70. 論文解説: Gated DeltaNet はなぜ4bit量子化に耐えるのか — ハイブリッド27BのNVFP4 W4A4 ★ 会員 arXiv:2609.04098
  71. 論文解説: Compile by Training — 自然言語の仕様を「手元で動く関数」にコンパイルする ★ 会員 arXiv:2609.04199
  72. 論文解説: Hi-Q — 質問を「検索できる粒度」まで、証拠を見ながら割っていく ★ 会員 arXiv:2608.30468
  73. 論文解説: Language Models Can Control Their Own Attention — モデルに「どこを見るか」を宣言させる ★ 会員 arXiv:2609.02737
  74. 論文解説: LatentPress — 圧縮した文脈を、テキストにも画像にも戻さずLLMに直接読ませる ★ 会員 arXiv:2609.01507
  75. 論文解説: Aspire — モデルは「曖昧な目標」から自己進化できるか ★ 会員 arXiv:2608.31111
  76. 論文解説: EarlyEval — エージェント評価を「途中で打ち切って」安くする ★ 会員 arXiv:2609.02783
  77. 論文解説: HarnessDev — LLMは自分のエージェント・ハーネスを作り、育てられるか ★ 会員 arXiv:2609.01437
  78. 論文解説: It Takes Two to Match — 検索の「両側」をRLで共進化させるCoGR ★ 会員 arXiv:2609.00638
  79. エージェント評価ベンチ地図 — SWE-bench・GAIA・OSWorldは何を測るか 無料 arXiv:2310.06770
  80. 論文解説: AutoSaddler — エージェントの失敗ログから「壊れないハーネス」を自動で育てる ★ 会員 arXiv:2608.23041
  81. 論文解説: Code as Worlds — 世界を「実行できるコード」として書き起こすエージェント ★ 会員 arXiv:2608.27549
  82. 論文解説: Code World Model — コーディングエージェントを「世界の脳」にする ★ 会員 arXiv:2608.25927
  83. 論文解説: On-Policy Distillationは本当に蒸留しているのか — ノイズまみれの教師から自己改善へ ★ 会員 arXiv:2608.31046
  84. ベンチマーク汚染 — 「高スコア」を疑う技術 ★ 会員 arXiv:2311.04850
  85. 論文解説: 本番トラフィックから事後学習へ — 社内200アプリを1つの自前LLMに寄せる ★ 会員 arXiv:2609.01572
  86. H3-World 論文解説：言語理解を「世界の操作」に変える手法とは ★ 会員 arXiv:2609.01560
  87. LLM-as-a-Judge を1から — AIがAIを採点する仕組みと限界 無料 arXiv:2306.05685
  88. 論文解説: LoopArena — コーディングエージェントを「操縦する側」を測る ★ 会員 arXiv:2608.28281
  89. 論文解説: Normalized Low-Rank Adaptation — LoRAの「入口行列」を正規化するだけで効く理由 ★ 会員 arXiv:2608.31036
  90. 論文解説: Qwen3.8-Next の設計 — 精度・効率・学習安定性を1つの問題として解く ★ 会員 "arXiv:2608.30320
  91. 論文解説: PILOT in the Loop — 走っている最中に直す「ライブ自己改善」 ★ 会員 arXiv:2608.26530
  92. 論文解説: Puro-2B — コンシューマGPUで2Bモデルを$6.9Kからゼロ事前学習する ★ 会員 arXiv:2608.27370
  93. 論文解説: Repo-To-Skill — GitHubリポジトリを「AIのためのスキル」に蒸留する ★ 会員 arXiv:2609.02749
  94. 報酬ハッキング — 測り方を決めると、そこが壊れる ★ 会員 arXiv:1606.06565
  95. 論文解説: SecOPD — トークン1個ずつ採点して、適応的プロンプトインジェクションを1桁下げる ★ 会員 arXiv:2608.21500
  96. 自己改善するAI — 共進化・自己対戦・カリキュラム生成の系譜 ★ 会員 arXiv:1712.01815
  97. 論文解説 SMELT — 「同じ層をもう一周」は、予算を揃えても得なのか ★ 会員 arXiv:2609.01343
  98. 論文解説: StarHarness — モデルを凍結したまま「ハーネス」を進化させる ★ 会員 arXiv:2608.24804
  99. 論文解説: StudentSim — 「その生徒そのもの」を訓練で作る学習者シミュレータ ★ 会員 arXiv:2609.01591
  100. 論文解説: Training Agents to Evolve with Their Harness — ハーネスごと進化するエージェントを訓練する ★ 会員 arXiv:2608.15763
  101. 論文解説: UI-Venus-2 — 画面を見て操作するAIを、ベンチマークから実運用へ ★ 会員 arXiv:2609.00028
  102. 論文解説 UrbanGround: 街に降ろされたMLLMエージェントは、どこで崩れるのか ★ 会員 arXiv:2608.27456
  103. 論文解説: 良いエージェント学習データとは何か — ACE（正確さ・複雑さ・多様性）という見方 ★ 会員 arXiv:2608.27260
  104. 論文解説: ZimaBlue — 12万時間の一人称動画でロボットを汎化させる ★ 会員 arXiv:2609.00188
  105. 論文解説: DART-SD — ツール呼び出しエージェントの「ダイヤ型の解空間」を壊さずに学習する ★ 会員 arXiv:2608.18524
  106. 論文解説: PaperGym — 論文1本を「採点基準つきの練習場」に変えて研究計画を学習させる ★ 会員 arXiv:2608.31119
  107. 論文解説: Agentic Artifact Creation — 「生成」と「納品物を組み立てる」はどう違うのか ★ 会員 "arXiv:2608.28122
  108. 論文解説: CyberFactory — 野生のCVEを「実行できる訓練問題」に変える ★ 会員 arXiv:2608.23181
  109. 論文解説 J-Zero: 出題者・解答者・審判を同時に育てる「データゼロ」自己進化 ★ 会員 arXiv:2608.26582
  110. 論文解説: Self-OPD — 教師モデルなしで、画像生成モデルが自分を蒸留する ★ 会員 arXiv:2608.26872
  111. 論文解説 TTPO: 正解ラベルなしで、テストの最中にモデルを鍛える ★ 会員 arXiv:2608.27448
  112. 論文解説: JIT-Agent — エージェントの「ハーネス」をその場で書き起こすモデル ★ 会員 arXiv:2608.25593
  113. 論文解説 PAWBench — 動画生成は「起こりうる未来の確率」まで当てられるのか ★ 会員 arXiv:2608.27345
  114. 代理指標では、もう守れない — 自動運転 2026年8月新着8本を束ねて読む 無料
  115. 論文解説: ゲーム開発を「検証できる軌跡データ工場」にする — RLHEV と AWoMo ★ 会員 arXiv:2608.25518
  116. 【実装】蒸留を自作する — 100行で小さなモデルを育てる ★ 会員 arXiv:1503.02531
  117. 蒸留データの設計 — 教師に何を答えさせるか 無料 arXiv:2501.12948
  118. 蒸留モデルの評価 — 「教師に近い」は良い指標か ★ 会員 arXiv:2305.15717
  119. 蒸留が失敗するとき — 容量ギャップと過信の伝染 ★ 会員 arXiv:1503.02531
  120. エージェントを蒸留する — 長い軌跡をどう圧縮するか ★ 会員 arXiv:2210.03629
  121. 蒸留の数学 — なぜ「柔らかい答え」から学べるのか 無料 arXiv:1503.02531
  122. 蒸留レシピ図鑑 — logit・feature・attention・self をどう使い分けるか 無料 arXiv:1503.02531
  123. 蒸留・量子化・枝刈りの使い分け — 小さくする3つの道 ★ 会員 arXiv:1503.02531
  124. 論文解説: FrontierChallenge — 科学の仕事を「最後まで納品できたか」で測る ★ 会員 arXiv:2608.24979
  125. オンポリシー蒸留 — 生徒自身の出力で教わる ★ 会員 arXiv:2306.13649
  126. 論文解説 WarpSAC: 強化学習の「安定化装置」は、データが潤沢になると足枷に変わる ★ 会員 arXiv:2608.24479
  127. 論文解説: VoiceMem — 音声対話に「左脳と右脳」の記憶を、遅延ゼロで ★ 会員 arXiv:2608.26005
  128. エージェント評価 — ベンチとハーネスの作法 無料 arXiv:2310.06770
  129. エージェントの記憶設計 — 短期・長期・エピソード 無料 arXiv:2310.08560
  130. アライメント概説 — RLHFからConstitutional AIまで ★ 会員 arXiv:2203.02155
  131. AlphaGoを1から — 探索と学習の結婚 無料 "doi:10.1038/nature16961
  132. 論文解説: Apodex 1.1 — 「完了した仕事」を単位にエージェントをスケールさせる ★ 会員 arXiv:2608.23283
  133. 論文解説: ASI-Bench — 手引きを1枚ずつ剥がして、AIの「自力」を測る ★ 会員 arXiv:2608.17271
  134. 音楽・音声生成を1から — トークン化された音 ★ 会員 arXiv:2306.05284
  135. 音の表現 — メルスペクトログラムとトークン化 無料 arXiv:2106.07447
  136. エンコーダとデコーダ — BERTとGPTの分岐点 ★ 会員 arXiv:1810.04805
  137. 【実装】エージェントループを自作する — ツール呼び出しの最小形 無料 arXiv:2210.03629
  138. 【実装】拡散モデルを自作する — MNISTからはじめる ★ 会員 arXiv:2006.11239
  139. 【実装】ミニGPTを自作する — 300行の言語モデル ★ 会員 arXiv:1706.03762
  140. 【実装】BPEトークナイザを自作する — マージ規則を学習し、日本語で殴られる ★ 会員 arXiv:1508.07909
  141. 【実装】ベクトルDBを自作する — 線形走査からHNSWへ ★ 会員 arXiv:1603.09320
  142. 継続学習と破滅的忘却 — 学び続けるモデルの難しさ ★ 会員 arXiv:1612.00796
  143. 教師なし学習を1から — クラスタリングと次元削減 ★ 会員 arXiv:1802.03426
  144. DPOとその後 — RLHFを単純化する系譜 ★ 会員 arXiv:2305.18290
  145. 論文解説: Embodied-Navigator（TAMP-Nav） — VLMに「指を差させる」と、ナビゲーションは速く強くなる ★ 会員 "arXiv:2608.17512
  146. FlashAttentionを1から — 計算を増やして速くする逆説 無料 arXiv:2205.14135
  147. 論文解説: FreeToken — 手元のPCを「一台の推論基盤」として使い切る帯域適応型MoEサービング ★ 会員 arXiv:2608.16157
  148. GNNを1から — つながりを学ぶネットワーク ★ 会員 arXiv:1609.02907
  149. GPUメモリ不足サバイバル — OOMの原因と対処の全パターン 無料 arXiv:1604.06174
  150. ハルシネーションはなぜ起きる — 仕組みと現実的な対策 無料 arXiv:2202.03629
  151. ハイパーパラメータ探索 — 勘・グリッド・ベイズ最適化 ★ 会員 JMLR 2012
  152. 画像生成の実務地図 — SD・ControlNet・LoRA適用 無料 arXiv:2112.10752
  153. ImageNetの瞬間 — 深層学習が勝った日 無料 arXiv:1409.0575
  154. 知識蒸留を1から — 大きなモデルを小さく写す 無料 arXiv:1503.02531
  155. LLM評価を1から — ベンチマークの読み方と汚染問題 無料 arXiv:2009.03300
  156. LLMサービングを1から — vLLM・連続バッチングで、GPUを遊ばせない 無料 arXiv:2309.06180
  157. 長文脈LLMの技術 — RoPE補間からリング注意まで ★ 会員 arXiv:2306.15595
  158. マルチエージェント設計パターン — 分担・討論・検証 無料 arXiv:2305.14325
  159. RAG評価の実務 — 「なんとなく良い」を数字にする ★ 会員 arXiv:2309.15217
  160. スケーリング懐疑論 — 「大きくするだけ」批判の系譜 ★ 会員 arXiv:2001.08361
  161. 拡散モデルの数学 — スコアとSDEで見る生成 ★ 会員 arXiv:1907.05600
  162. 自己教師あり学習 — ラベルなしデータが宝になった日 ★ 会員 arXiv:2002.05709
  163. 構造化出力と制約デコーディング — JSONを壊さない仕組み 無料 arXiv:2307.09702
  164. 記号主義vs接続主義 — 60年論争の現在地 無料
  165. 推論時スケーリング — 「長く考える」モデルの原理 無料 arXiv:2201.11903
  166. 3D生成のいま — NeRFからGaussian Splattingまで ★ 会員 arXiv:2003.08934
  167. 学習が壊れた時の診断学 — loss発散・NaN・停滞の切り分け 無料 arXiv:1211.5063
  168. 動画理解を1から — フレームの束から時間の理解へ ★ 会員 arXiv:2102.05095
  169. 論文解説: WeMM-Embedding — 文も画像も動画も「同じ物差し」に載せるWeChatの埋め込みモデル ★ 会員 arXiv:2608.24053
  170. データセット構築の実務 — 集める・洗う・混ぜる ★ 会員 arXiv:2212.10560
  171. 文書理解とOCRのいま — 帳票をLLMが読むまで ★ 会員 arXiv:1912.13318
  172. GraphRAGを1から — 知識グラフと検索の融合 ★ 会員 arXiv:2404.16130
  173. 事前学習データの作り方 — Webから教科書品質へ 無料 arXiv:2101.00027
  174. Transformer完全解剖 — 埋め込みから出力まで一気通貫 無料 arXiv:1706.03762
  175. 音声合成を1から — テキストから声まで 無料 arXiv:1609.03499
  176. 活性化関数を1から — なぜ非線形が必要なのか 無料 arXiv:1502.01852
  177. 決定木と勾配ブースティング — 表データ最強の座は今も 無料 arXiv:1603.02754
  178. 時系列異常検知 — 監視の現場で動いている数学 ★ 会員 arXiv:0710.3742
  179. 重みの初期化と正則化 — 学習が始まる条件・続く条件 ★ 会員 PMLR v9
  180. 論文解説 Large Discovery Models — LLMに「次に何を試すべきか」を教える価値信号 ★ 会員 arXiv:2608.15669
  181. 論文解説: Agentic ESOpt — 逆伝播をやめて「モデルを揺らす」だけで、長丁場のLLMエージェントを鍛える ★ 会員 arXiv:2608.17310
  182. Attentionの変種図鑑 — MQA・GQA・スライディング窓・線形注意 無料 arXiv:1911.02150
  183. 論文解説: Co-RL — 正解ラベルなしでも、群れの多様性から推論が立ち上がる ★ 会員 arXiv:2608.17253
  184. 論文解説: Agent Skillsはなぜ効くのか、そしてどこで壊れるのか ★ 会員 arXiv:2608.14036
  185. 論文解説: FACET — 指示・環境・解答・採点を「同じ実行状態」に接地させる課題合成 ★ 会員 arXiv:2608.18580
  186. Flow Matchingを1から — 拡散の次に来た「まっすぐ運ぶ」生成 ★ 会員 arXiv:2210.02747
  187. GANの栄枯盛衰 — 敵対で学ぶ発明と、拡散に負けた理由 無料 arXiv:1406.2661
  188. 学習率スケジュール — warmupとcosineの理由 無料 arXiv:1706.03762
  189. 混合精度学習 — fp16/bf16/fp8で壊れずに速くする ★ 会員 arXiv:1710.03740
  190. 正規化レイヤー全史 — BatchNormからRMSNormまで ★ 会員 arXiv:1502.03167
  191. 論文解説: OmniScientist — 生データを直接「見る」AI科学者。36ケースを1つのエンジンで走らせる ★ 会員 arXiv:2608.13558
  192. 推薦システムと埋め込み — RAGと同じ数学、違う目的 無料 arXiv:1205.2618
  193. CFGとサンプラー — 生成AIの「強さ」パラメータの正体 ★ 会員 arXiv:2207.12598
  194. 論文解説 SemaPLC — 「できました」と言わせない検証ゲート型エージェント ★ 会員 "arXiv:2608.18565
  195. 時系列にTransformerは効くのか — 論争と実務の答え 無料 arXiv:2205.13504
  196. トークナイザを1から — LLMが世界を切り刻む単位 無料 arXiv:1508.07909
  197. 論文解説: Zetta ζ — 方策を凍結したまま、ロボットが実行中に自分を直す「閉ループ・ハーネス」 ★ 会員 arXiv:2608.16590
  198. 論文解説: SA-MRPO — 満点の科目を勉強し続けるな。飽和した報酬から勾配を引きはがす ★ 会員 "arXiv:2608.16072
  199. 論文解説: 危機映像のAI捏造は見抜けるか — RA-Benchが暴いた検出器の実力 ★ 会員 "arXiv:2608.14391
  200. 論文解説: ABSeeker — 答えから逆算して「良い一手」を採点する、長距離検索エージェントの訓練法 ★ 会員 arXiv:2608.05102
  201. CNNアーキテクチャの系譜 — AlexNetからResNet・EfficientNetまで ★ 会員 arXiv:1409.1556
  202. 論文解説: 共進化するエージェント系 — 人間の設計を超えた自己進化への三段階 無料 arXiv:2608.10299
  203. 論文解説: ComBodied Agents — エージェントの「作用対象」を人そのものに置き直す 無料 arXiv:2608.10915
  204. 埋め込み(Embedding)を1から理解する — word2vecの直感から文脈化埋め込みまで 無料 arXiv:1301.3781
  205. End-to-End運転を1から — 認識から制御までを1つのネットワークで 無料 arXiv:1604.07316
  206. 論文解説: Frontis-MA1 — 「AIを作るAI」を鍛える。MLエンジニアリングで再帰的自己改善に一歩迫るOpenMLE 無料 arXiv:2607.28568
  207. 論文解説: Interpretable MEG Decoding of Perceived Speech — 脳磁図から「聞いた音声」を当てるAIの中身を、脳地図として読む ★ 会員 arXiv:2608.01481
  208. 論文解説: LongHorizon-Harness — 長時間タスクは「実行」ではなく「状態管理」で解く 無料 arXiv:2608.01964
  209. 論文解説: Mental World Modeling — 物理だけでなく「心」まで遷移させるワールドモデル 無料 arXiv:2607.27201
  210. 論文解説: MerchantBench — LLMエージェントは1年間ネットショップを経営できるか。人間の27.3%しか稼げない理由 無料 arXiv:2607.28956
  211. 論文解説: Metis — 記憶を外付けせず、モデルの中に住まわせる「Memory Foundation Model」 無料 arXiv:2607.26760
  212. 物体検出を1から解説（YOLO・DETRまで） ★ 会員 arXiv:2005.12872
  213. 論文解説: 正解も強い教師もなしで伸びる — u-OPSD が使う「自分の多数決」 無料 arXiv:2608.06296
  214. 論文解説: OSReward — AIの「採点者」は信用できるか。コンピュータ操作エージェントの報酬を測り直す 無料 arXiv:2607.28609
  215. 論文解説: PhiZero — 映像を描く前に「物理の言葉」で考える世界モデル ★ 会員 arXiv:2607.28624
  216. 論文解説: Qwen-UI-Agent — スマホもPCも操る「実世界基準」のGUIエージェントはこう作られた ★ 会員 arXiv:2607.28227
  217. 論文解説: Recursive Synthesis — 検証済みタスクを「増築」して、長時間ターミナル課題を4万件量産する ★ 会員 arXiv:2608.05466
  218. スケーリング則を1から解説 — なぜ大きくすると賢くなるのか 無料 arXiv:2203.15556
  219. 論文解説: SwanTale — 参照音声なしで「言葉から声をデザインする」統合音声・オーディオ生成 ★ 会員 arXiv:2608.02023
  220. 論文解説: ToolArtist — 検索するか、描くか、描き直すか。それも自分で決める画像生成エージェント ★ 会員 arXiv:2608.04436
  221. 論文解説: TurboVLA — LLMを追い出したロボット方策が、RTX 4090・VRAM 1GB未満で32Hzを叩き出す ★ 会員 arXiv:2607.27205
  222. 論文解説: Video-DeepResearch — 動画を「見て、調べ尽くす」次世代マルチモーダル・エージェント ★ 会員 arXiv:2608.03979
  223. VLMの成立と現在 — 視覚エンコーダとLLMをどう繋ぐか ★ 会員 arXiv:2103.00020
  224. 論文解説: AgentOPSD — 「どのターンが勝敗を分けたか」をベイズ信念の再帰更新で見つけるエージェントRL 無料 arXiv:2608.05987
  225. 論文解説: Alpamayo — 自動運転の推論モデル 無料 arXiv:2511.00088
  226. 論文解説: AskChem — 検索の単位を「論文」から「出典付きクレーム」に変える文献インフラ ★ 会員 arXiv:2607.28618
  227. 論文解説: BDH-CQ — 言葉にせずに考えるAI。再帰メモリ×潜在推論がARCのコスト効率を塗り替えた 無料 arXiv:2608.09888
  228. BEV表現を1から — 複数カメラを俯瞰図に統合する ★ 会員 "arXiv:2008.05711
  229. 論文解説: CodeNib — コーディングエージェントにリポジトリの文脈を「配膳」する多ビューデータシステム 無料 arXiv:2607.25431
  230. 論文解説: DAPD — 蒸留の教師が持つ「カンニングペーパーの幻想」を二重アンカーで断つ 無料 arXiv:2608.01735
  231. 論文解説: EnvACE — 環境まで自分で演じる「world rehearsal」がエージェントRLの環境不足を解く 無料 arXiv:2608.06197
  232. Gemma系を1から解説 — 系譜・特徴・使いどころ 無料 arXiv:2403.08295
  233. 論文解説: Macaron-V1 — 凍結ベース×LoRA混合で「出荷後も育つ」エージェントモデルを作る 無料 arXiv:2608.09819
  234. Mixture of Experts (MoE) を1から解説 — Switch Transformerのルーティングと負荷分散 無料 arXiv:2101.03961
  235. 投機的デコーディングを1から解説 — 小さな下書きモデルで、出力を一切変えずにLLMを速くする 無料 arXiv:2211.17192
  236. 論文解説: SWE-Bench ProMax — 多言語・大規模リファクタリングでコーディングエージェントの本当の実力を測る 無料 arXiv:2608.09802
  237. 論文解説: The Personalization Mirage — LLMは「あなた」を勝手に作り上げ、自己申告は逆を指す 無料 "arXiv:2608.04570
  238. 論文解説: WorldClaw — テキスト1文から「歩ける・編集できる」3Dオープンワールドをエージェントが建設する ★ 会員 arXiv:2608.05248
  239. 論文解説: CLIP — 言葉と画像を同じ地図に置く 無料 arXiv:2103.00020
  240. 拡散モデルを1から理解する — ノイズを足して、引く 無料 arXiv:2006.11239
  241. Instruction Tuning と RLHF を1から解説 — 指示に従うモデルはどう作られるか 無料 arXiv:2203.02155
  242. LLMエージェントを1から解説 — ツール使用とループの設計 無料 arXiv:2210.03629
  243. プロンプトエンジニアリングの科学 — 何が実証され、何が迷信か 無料 arXiv:2201.11903
  244. 論文解説: Whisperはなぜ頑健なのか — 大規模弱教師あり学習 無料 arXiv:2212.04356
  245. 論文解説: ViT — 画像を単語のように扱う 無料 arXiv:2010.11929
  246. 位置エンコーディングを1から理解する（絶対位置からRoPEまで） 無料 arXiv:1706.03762
  247. 論文解説 Attention Is All You Need — 再帰を捨てたモデルは何を証明したのか 無料 arXiv:1706.03762
  248. LoRA 論文解説：Low-Rank Adaptation とは？低ランクで足りる理由を原論文からわかりやすく 無料 arXiv:2106.09685

④ 自己注意を、手で動かす

円卓に並んだ単語の間を、注意の重みが光となって飛びます。√d_k で割るのをやめると何が起きるか、因果マスクは何を遮るのか——スライダーを動かして確かめてください。

FIG 1計算しているのは論文どおりの scaled dot-product attention です。埋め込みだけは、注目先が読み取れるように8次元の玩具ベクトルを手で設計しています（学習済みモデルの重みではありません）。