JA EN
ホーム › AI

◉ FIELD

AI

機械学習の基礎から、CNN・Transformer・VLM・エージェントまで。モデルが「なぜその形になったのか」を系譜でたどる。

11 32基礎 191論文解説 1動かす

この巻は ①教科書 → ②基礎 → ③論文解説 → ④ラボ の順に進むと、前提を飛ばさずに読めます。

① 教科書

  1. 16前史 ── パーセプトロンと二度の冬
  2. 17畳み込みという発明
  3. 182012年、AlexNetの衝撃
  4. 19深くする戦い ── VGGからResNetへ
  5. 20軽くする戦い ── MobileNet系
  6. 21検出とセグメンテーション
  7. 22Attentionとトランスフォーマ
  8. 23ViT ── 画像を単語のように扱う
  9. 24CLIP ── 言葉と画像を同じ地図に
  10. 25VLMの成立と現在
  11. 26エッジで動かすときの現実

② 基礎

前提知識を置かずに、その分野の考え方を組み立てる記事。ジャンル順に並べています。

機械学習の基礎

学習とは何か・損失関数・過学習・評価まで、すべての土台

  1. 機械学習とは何か — 「学習」を数式なしで理解する 無料
  2. 損失関数と最適化 — モデルはどうやって「間違いから学ぶ」のか 無料
  3. 過学習と評価設計 — 精度99%を疑え ★ 会員
  4. データリークと実験管理 — 精度が高すぎたら疑うこと ★ 会員
  5. 不均衡データの実務 — 99%が正常のとき何を最適化するか ★ 会員
  6. MLシステム設計 — モデルの外側の9割 ★ 会員

深層学習の基礎

ニューラルネット・逆伝播・最適化・正則化

  1. ニューラルネットワークを1から理解する — 1個のニューロンから多層まで 無料
  2. 誤差逆伝播を1から解説 — 連鎖律だけで全部わかる ★ 会員

CNN・画像認識

畳み込みの発明からResNet・軽量化・物体検出まで

  1. 画像分類を1から理解する — 畳み込みという発明 無料
  2. 自動運転の認識スタックを1から — カメラとLiDARは何を分担しているのか 無料
  3. 異常検知を1から — 正常だけから学ぶという発想 ★ 会員
  4. 医用画像とAI — 精度より先に問われる検証設計 ★ 会員

Transformerの仕組み

Attention・位置エンコーディング・アーキテクチャの解剖

  1. Attention機構を1から理解する — Transformerの心臓部を絵解きで 無料

LLM — 大規模言語モデル

スケーリング則・プロンプティング・LLMの内部挙動

準備中

VLM・マルチモーダル

CLIP・ViT・画像と言語を同じ空間に置く技術

準備中

生成モデル

拡散モデル・VAE・GAN。「作る」側のモデル

  1. VAEを1から — 「圧縮して戻す」に確率を混ぜると生成になる 無料

学習手法・アライメント

事前学習・SFT・RLHF/DPO・ファインチューニング

  1. データとモデルのバージョン管理 — 再現できない実験は存在しない ★ 会員

推論・高速化

KVキャッシュ・量子化・バッチング・サービング

  1. KVキャッシュを1から理解する — 推論高速化の核心 無料
  2. LLM量子化を1から解説 — なぜ精度を落としても動くのか ★ 会員
  3. 推論コスト削減の実務 — 何から手を付けるか ★ 会員
  4. プロンプトキャッシュとコンテキスト設計 — 前方一致という一本の制約が、請求額を桁で変える ★ 会員

RAG・検索拡張

埋め込み・チャンク戦略・リランキング・評価

  1. RAGの基礎と設計パターン — 埋め込み・チャンク・リランキング・評価を1から ★ 会員
  2. RAG vs ファインチューニング — どちらを、いつ選ぶか 無料
  3. チャンキング戦略 — 分け方で検索は決まる ★ 会員

エージェント

ツール使用・計画・マルチエージェント

  1. MCPとツールプロトコル — エージェントの手をつなぐ規格 無料

音声系

音声認識・合成・音声LLM

  1. 音声認識を1から — 波形からテキストまで 無料

時系列データ系

RNN/LSTMから時系列基盤モデルまで

  1. RNNとLSTMを1から理解する — Transformer時代になぜ学ぶのか 無料
  2. 時系列予測を1から解説 — 古典手法から基盤モデルまで ★ 会員

モデル系統図鑑

Gemma系・Llama系・Qwen系など系統別の特徴と使い分け

  1. Llama系を1から解説 — オープンLLMの本流 ★ 会員
  2. Qwen系を1から解説 — HuggingFace DL数トップ勢の実力 ★ 会員
  3. DeepSeek系を1から — MoEと蒸留で殴り込んだ系譜 無料
  4. GPT系譜 — GPT-1から現在までの設計思想 ★ 会員
  5. Mistral系を1から — 小型高性能の欧州勢 ★ 会員
  6. オープンvsクローズド — 重み公開の経済学と安全論争 ★ 会員

論文解説

重要論文を1本ずつ、本文を根拠に背景から実務含意まで

準備中

蒸留と圧縮

大きなモデルの能力を小さなモデルへ写す。損失関数・データ設計・失敗パターンまで

準備中

評価と審判

AIをどう測るか。ベンチマーク・LLM審判・汚染・報酬ハッキングまで

準備中

③ 論文解説

元の論文を読んで書いた解説。各記事に論文ページとPDFへのリンクを付けています。

  1. 論文解説: Last Translation Benchmark — 「モデルが壊れる例」と検証ルールで翻訳を測り直す ★ 会員 arXiv:2609.04173
  2. 論文解説: Motion-Omni — 話しながら全身が動く、end-to-endの音声対話モデル ★ 会員 arXiv:2609.04250
  3. 論文解説: CogEvol — 報酬が測れないものを、強化学習は静かに壊す ★ 会員 arXiv:2608.30968
  4. Mamba と状態空間モデル(SSM) — 注意機構なしで系列を扱う 無料 arXiv:2111.00396
  5. 論文解説: Random Attention — KVキャッシュの追い出しは「ランダムで十分」だった ★ 会員 arXiv:2609.03430
  6. 論文解説: 訓練データが1問でも、オンポリシー蒸留は数百ステップ伸び続ける ★ 会員 arXiv:2609.04172
  7. 論文解説: Terminal-Universe — エージェントの作業ログを、何度でも使える実行環境に戻す ★ 会員 arXiv:2609.04148
  8. 論文解説 RoboTok — ネット動画から「手の動きが似た手本」を掘り出すデータエンジン ★ 会員 arXiv:2609.03199
  9. 論文解説: 最初の1枚を基準にするのをやめる — Scal3R の複数参照・相対姿勢クエリ ★ 会員 arXiv:2609.04201
  10. 論文解説: Gated DeltaNet はなぜ4bit量子化に耐えるのか — ハイブリッド27BのNVFP4 W4A4 ★ 会員 arXiv:2609.04098
  11. 論文解説: Compile by Training — 自然言語の仕様を「手元で動く関数」にコンパイルする ★ 会員 arXiv:2609.04199
  12. 論文解説: Hi-Q — 質問を「検索できる粒度」まで、証拠を見ながら割っていく ★ 会員 arXiv:2608.30468
  13. 論文解説: Language Models Can Control Their Own Attention — モデルに「どこを見るか」を宣言させる ★ 会員 arXiv:2609.02737
  14. 論文解説: LatentPress — 圧縮した文脈を、テキストにも画像にも戻さずLLMに直接読ませる ★ 会員 arXiv:2609.01507
  15. 論文解説: Aspire — モデルは「曖昧な目標」から自己進化できるか ★ 会員 arXiv:2608.31111
  16. 論文解説: EarlyEval — エージェント評価を「途中で打ち切って」安くする ★ 会員 arXiv:2609.02783
  17. 論文解説: HarnessDev — LLMは自分のエージェント・ハーネスを作り、育てられるか ★ 会員 arXiv:2609.01437
  18. 論文解説: It Takes Two to Match — 検索の「両側」をRLで共進化させるCoGR ★ 会員 arXiv:2609.00638
  19. エージェント評価ベンチ地図 — SWE-bench・GAIA・OSWorldは何を測るか 無料 arXiv:2310.06770
  20. 論文解説: AutoSaddler — エージェントの失敗ログから「壊れないハーネス」を自動で育てる ★ 会員 arXiv:2608.23041
  21. 論文解説: Code as Worlds — 世界を「実行できるコード」として書き起こすエージェント ★ 会員 arXiv:2608.27549
  22. 論文解説: Code World Model — コーディングエージェントを「世界の脳」にする ★ 会員 arXiv:2608.25927
  23. 論文解説: On-Policy Distillationは本当に蒸留しているのか — ノイズまみれの教師から自己改善へ ★ 会員 arXiv:2608.31046
  24. ベンチマーク汚染 — 「高スコア」を疑う技術 ★ 会員 arXiv:2311.04850
  25. 論文解説: 本番トラフィックから事後学習へ — 社内200アプリを1つの自前LLMに寄せる ★ 会員 arXiv:2609.01572
  26. 論文解説 H3-World — 言語理解を「世界の操作」に変える ★ 会員 arXiv:2609.01560
  27. LLM-as-a-Judge を1から — AIがAIを採点する仕組みと限界 無料 arXiv:2306.05685
  28. 論文解説: LoopArena — コーディングエージェントを「操縦する側」を測る ★ 会員 arXiv:2608.28281
  29. 論文解説: Normalized Low-Rank Adaptation — LoRAの「入口行列」を正規化するだけで効く理由 ★ 会員 arXiv:2608.31036
  30. 論文解説: Qwen3.8-Next の設計 — 精度・効率・学習安定性を1つの問題として解く ★ 会員 "arXiv:2608.30320
  31. 論文解説: PILOT in the Loop — 走っている最中に直す「ライブ自己改善」 ★ 会員 arXiv:2608.26530
  32. 論文解説: Puro-2B — コンシューマGPUで2Bモデルを$6.9Kからゼロ事前学習する ★ 会員 arXiv:2608.27370
  33. 論文解説: Repo-To-Skill — GitHubリポジトリを「AIのためのスキル」に蒸留する ★ 会員 arXiv:2609.02749
  34. 報酬ハッキング — 測り方を決めると、そこが壊れる ★ 会員 arXiv:1606.06565
  35. 論文解説: SecOPD — トークン1個ずつ採点して、適応的プロンプトインジェクションを1桁下げる ★ 会員 arXiv:2608.21500
  36. 自己改善するAI — 共進化・自己対戦・カリキュラム生成の系譜 ★ 会員 arXiv:1712.01815
  37. 論文解説 SMELT — 「同じ層をもう一周」は、予算を揃えても得なのか ★ 会員 arXiv:2609.01343
  38. 論文解説: StarHarness — モデルを凍結したまま「ハーネス」を進化させる ★ 会員 arXiv:2608.24804
  39. 論文解説: StudentSim — 「その生徒そのもの」を訓練で作る学習者シミュレータ ★ 会員 arXiv:2609.01591
  40. 論文解説: Training Agents to Evolve with Their Harness — ハーネスごと進化するエージェントを訓練する ★ 会員 arXiv:2608.15763
  41. 論文解説: UI-Venus-2 — 画面を見て操作するAIを、ベンチマークから実運用へ ★ 会員 arXiv:2609.00028
  42. 論文解説 UrbanGround: 街に降ろされたMLLMエージェントは、どこで崩れるのか ★ 会員 arXiv:2608.27456
  43. 論文解説: 良いエージェント学習データとは何か — ACE(正確さ・複雑さ・多様性)という見方 ★ 会員 arXiv:2608.27260
  44. 論文解説: ZimaBlue — 12万時間の一人称動画でロボットを汎化させる ★ 会員 arXiv:2609.00188
  45. 論文解説: DART-SD — ツール呼び出しエージェントの「ダイヤ型の解空間」を壊さずに学習する ★ 会員 arXiv:2608.18524
  46. 論文解説: PaperGym — 論文1本を「採点基準つきの練習場」に変えて研究計画を学習させる ★ 会員 arXiv:2608.31119
  47. 論文解説: Agentic Artifact Creation — 「生成」と「納品物を組み立てる」はどう違うのか ★ 会員 "arXiv:2608.28122
  48. 論文解説: CyberFactory — 野生のCVEを「実行できる訓練問題」に変える ★ 会員 arXiv:2608.23181
  49. 論文解説 J-Zero: 出題者・解答者・審判を同時に育てる「データゼロ」自己進化 ★ 会員 arXiv:2608.26582
  50. 論文解説: Self-OPD — 教師モデルなしで、画像生成モデルが自分を蒸留する ★ 会員 arXiv:2608.26872
  51. 論文解説 TTPO: 正解ラベルなしで、テストの最中にモデルを鍛える ★ 会員 arXiv:2608.27448
  52. 論文解説: JIT-Agent — エージェントの「ハーネス」をその場で書き起こすモデル ★ 会員 arXiv:2608.25593
  53. 論文解説 PAWBench — 動画生成は「起こりうる未来の確率」まで当てられるのか ★ 会員 arXiv:2608.27345
  54. 代理指標では、もう守れない — 自動運転 2026年8月新着8本を束ねて読む 無料
  55. 論文解説: ゲーム開発を「検証できる軌跡データ工場」にする — RLHEV と AWoMo ★ 会員 arXiv:2608.25518
  56. 【実装】蒸留を自作する — 100行で小さなモデルを育てる ★ 会員 arXiv:1503.02531
  57. 蒸留データの設計 — 教師に何を答えさせるか ★ 会員 arXiv:2501.12948
  58. 蒸留モデルの評価 — 「教師に近い」は良い指標か ★ 会員 arXiv:2305.15717
  59. 蒸留が失敗するとき — 容量ギャップと過信の伝染 ★ 会員 arXiv:1503.02531
  60. エージェントを蒸留する — 長い軌跡をどう圧縮するか ★ 会員 arXiv:2210.03629
  61. 蒸留の数学 — なぜ「柔らかい答え」から学べるのか 無料 arXiv:1503.02531
  62. 蒸留レシピ図鑑 — logit・feature・attention・self をどう使い分けるか ★ 会員 arXiv:1503.02531
  63. 蒸留・量子化・枝刈りの使い分け — 小さくする3つの道 ★ 会員 arXiv:1503.02531
  64. 論文解説: FrontierChallenge — 科学の仕事を「最後まで納品できたか」で測る ★ 会員 arXiv:2608.24979
  65. オンポリシー蒸留 — 生徒自身の出力で教わる ★ 会員 arXiv:2306.13649
  66. 論文解説 WarpSAC: 強化学習の「安定化装置」は、データが潤沢になると足枷に変わる ★ 会員 arXiv:2608.24479
  67. 論文解説: VoiceMem — 音声対話に「左脳と右脳」の記憶を、遅延ゼロで ★ 会員 arXiv:2608.26005
  68. エージェント評価 — ベンチとハーネスの作法 ★ 会員 arXiv:2310.06770
  69. エージェントの記憶設計 — 短期・長期・エピソード ★ 会員 arXiv:2310.08560
  70. アライメント概説 — RLHFからConstitutional AIまで ★ 会員 arXiv:2203.02155
  71. AlphaGoを1から — 探索と学習の結婚 ★ 会員 "doi:10.1038/nature16961
  72. 論文解説: Apodex 1.1 — 「完了した仕事」を単位にエージェントをスケールさせる ★ 会員 arXiv:2608.23283
  73. 論文解説: ASI-Bench — 手引きを1枚ずつ剥がして、AIの「自力」を測る ★ 会員 arXiv:2608.17271
  74. 音楽・音声生成を1から — トークン化された音 ★ 会員 arXiv:2306.05284
  75. 音の表現 — メルスペクトログラムとトークン化 ★ 会員 arXiv:2106.07447
  76. エンコーダとデコーダ — BERTとGPTの分岐点 ★ 会員 arXiv:1810.04805
  77. 【実装】エージェントループを自作する — ツール呼び出しの最小形 ★ 会員 arXiv:2210.03629
  78. 【実装】拡散モデルを自作する — MNISTからはじめる ★ 会員 arXiv:2006.11239
  79. 【実装】ミニGPTを自作する — 300行の言語モデル ★ 会員 arXiv:1706.03762
  80. 【実装】BPEトークナイザを自作する — マージ規則を学習し、日本語で殴られる ★ 会員 arXiv:1508.07909
  81. 【実装】ベクトルDBを自作する — 線形走査からHNSWへ ★ 会員 arXiv:1603.09320
  82. 継続学習と破滅的忘却 — 学び続けるモデルの難しさ ★ 会員 arXiv:1612.00796
  83. 教師なし学習を1から — クラスタリングと次元削減 ★ 会員 arXiv:1802.03426
  84. DPOとその後 — RLHFを単純化する系譜 ★ 会員 arXiv:2305.18290
  85. 論文解説: Embodied-Navigator(TAMP-Nav) — VLMに「指を差させる」と、ナビゲーションは速く強くなる ★ 会員 "arXiv:2608.17512
  86. FlashAttentionを1から — 計算を増やして速くする逆説 ★ 会員 arXiv:2205.14135
  87. 論文解説: FreeToken — 手元のPCを「一台の推論基盤」として使い切る帯域適応型MoEサービング ★ 会員 arXiv:2608.16157
  88. GNNを1から — つながりを学ぶネットワーク ★ 会員 arXiv:1609.02907
  89. GPUメモリ不足サバイバル — OOMの原因と対処の全パターン ★ 会員 arXiv:1604.06174
  90. ハルシネーションはなぜ起きる — 仕組みと現実的な対策 無料 arXiv:2202.03629
  91. ハイパーパラメータ探索 — 勘・グリッド・ベイズ最適化 ★ 会員 JMLR 2012
  92. 画像生成の実務地図 — SD・ControlNet・LoRA適用 無料 arXiv:2112.10752
  93. ImageNetの瞬間 — 深層学習が勝った日 無料 arXiv:1409.0575
  94. 知識蒸留を1から — 大きなモデルを小さく写す ★ 会員 arXiv:1503.02531
  95. LLM評価を1から — ベンチマークの読み方と汚染問題 ★ 会員 arXiv:2009.03300
  96. LLMサービングを1から — vLLM・連続バッチングで、GPUを遊ばせない 無料 arXiv:2309.06180
  97. 長文脈LLMの技術 — RoPE補間からリング注意まで ★ 会員 arXiv:2306.15595
  98. マルチエージェント設計パターン — 分担・討論・検証 ★ 会員 arXiv:2305.14325
  99. RAG評価の実務 — 「なんとなく良い」を数字にする ★ 会員 arXiv:2309.15217
  100. スケーリング懐疑論 — 「大きくするだけ」批判の系譜 ★ 会員 arXiv:2001.08361
  101. 拡散モデルの数学 — スコアとSDEで見る生成 ★ 会員 arXiv:1907.05600
  102. 自己教師あり学習 — ラベルなしデータが宝になった日 ★ 会員 arXiv:2002.05709
  103. 構造化出力と制約デコーディング — JSONを壊さない仕組み ★ 会員 arXiv:2307.09702
  104. 論文解説: SWE-bench Science — コーディングエージェントは「科学のコード」を直せるか ★ 会員 arXiv:2608.19799
  105. 記号主義vs接続主義 — 60年論争の現在地 ★ 会員
  106. 推論時スケーリング — 「長く考える」モデルの原理 ★ 会員 arXiv:2201.11903
  107. 3D生成のいま — NeRFからGaussian Splattingまで ★ 会員 arXiv:2003.08934
  108. 学習が壊れた時の診断学 — loss発散・NaN・停滞の切り分け 無料 arXiv:1211.5063
  109. 動画理解を1から — フレームの束から時間の理解へ ★ 会員 arXiv:2102.05095
  110. 論文解説: WeMM-Embedding — 文も画像も動画も「同じ物差し」に載せるWeChatの埋め込みモデル ★ 会員 arXiv:2608.24053
  111. データセット構築の実務 — 集める・洗う・混ぜる ★ 会員 arXiv:2212.10560
  112. 文書理解とOCRのいま — 帳票をLLMが読むまで ★ 会員 arXiv:1912.13318
  113. GraphRAGを1から — 知識グラフと検索の融合 ★ 会員 arXiv:2404.16130
  114. 事前学習データの作り方 — Webから教科書品質へ ★ 会員 arXiv:2101.00027
  115. Transformer完全解剖 — 埋め込みから出力まで一気通貫 無料 arXiv:1706.03762
  116. 音声合成を1から — テキストから声まで ★ 会員 arXiv:1609.03499
  117. 活性化関数を1から — なぜ非線形が必要なのか 無料 arXiv:1502.01852
  118. 決定木と勾配ブースティング — 表データ最強の座は今も 無料 arXiv:1603.02754
  119. 時系列異常検知 — 監視の現場で動いている数学 ★ 会員 arXiv:0710.3742
  120. 重みの初期化と正則化 — 学習が始まる条件・続く条件 ★ 会員 PMLR v9
  121. 論文解説 Large Discovery Models — LLMに「次に何を試すべきか」を教える価値信号 ★ 会員 arXiv:2608.15669
  122. 論文解説: Agentic ESOpt — 逆伝播をやめて「モデルを揺らす」だけで、長丁場のLLMエージェントを鍛える ★ 会員 arXiv:2608.17310
  123. Attentionの変種図鑑 — MQA・GQA・スライディング窓・線形注意 ★ 会員 arXiv:1911.02150
  124. 論文解説: Co-RL — 正解ラベルなしでも、群れの多様性から推論が立ち上がる ★ 会員 arXiv:2608.17253
  125. 論文解説: Agent Skillsはなぜ効くのか、そしてどこで壊れるのか ★ 会員 arXiv:2608.14036
  126. 論文解説: EnvHarness — 練習場を作り直さず、外から「治具」をかぶせてエージェントを鍛える ★ 会員 arXiv:2608.19880
  127. 論文解説: FACET — 指示・環境・解答・採点を「同じ実行状態」に接地させる課題合成 ★ 会員 arXiv:2608.18580
  128. Flow Matchingを1から — 拡散の次に来た「まっすぐ運ぶ」生成 ★ 会員 arXiv:2210.02747
  129. GANの栄枯盛衰 — 敵対で学ぶ発明と、拡散に負けた理由 ★ 会員 arXiv:1406.2661
  130. 学習率スケジュール — warmupとcosineの理由 ★ 会員 arXiv:1706.03762
  131. 混合精度学習 — fp16/bf16/fp8で壊れずに速くする ★ 会員 arXiv:1710.03740
  132. 正規化レイヤー全史 — BatchNormからRMSNormまで ★ 会員 arXiv:1502.03167
  133. 論文解説: OmniScientist — 生データを直接「見る」AI科学者。36ケースを1つのエンジンで走らせる ★ 会員 arXiv:2608.13558
  134. 推薦システムと埋め込み — RAGと同じ数学、違う目的 ★ 会員 arXiv:1205.2618
  135. CFGとサンプラー — 生成AIの「強さ」パラメータの正体 ★ 会員 arXiv:2207.12598
  136. 論文解説 SemaPLC — 「できました」と言わせない検証ゲート型エージェント ★ 会員 "arXiv:2608.18565
  137. 論文解説: StateM — モデルの重みを1gも動かさず、Terminal-Bench 2.1で95.3%・実行費15ドルへ ★ 会員 "arXiv:2608.15089
  138. 時系列にTransformerは効くのか — 論争と実務の答え ★ 会員 arXiv:2205.13504
  139. トークナイザを1から — LLMが世界を切り刻む単位 無料 arXiv:1508.07909
  140. 論文解説: Zetta ζ — 方策を凍結したまま、ロボットが実行中に自分を直す「閉ループ・ハーネス」 ★ 会員 arXiv:2608.16590
  141. 論文解説: SA-MRPO — 満点の科目を勉強し続けるな。飽和した報酬から勾配を引きはがす ★ 会員 "arXiv:2608.16072
  142. 論文解説: 危機映像のAI捏造は見抜けるか — RA-Benchが暴いた検出器の実力 ★ 会員 "arXiv:2608.14391
  143. 論文解説: ABSeeker — 答えから逆算して「良い一手」を採点する、長距離検索エージェントの訓練法 ★ 会員 arXiv:2608.05102
  144. CNNアーキテクチャの系譜 — AlexNetからResNet・EfficientNetまで ★ 会員 arXiv:1409.1556
  145. 論文解説: 共進化するエージェント系 — 人間の設計を超えた自己進化への三段階 ★ 会員 arXiv:2608.10299
  146. 論文解説: ComBodied Agents — エージェントの「作用対象」を人そのものに置き直す ★ 会員 arXiv:2608.10915
  147. 埋め込み(Embedding)を1から理解する — word2vecの直感から文脈化埋め込みまで 無料 arXiv:1301.3781
  148. End-to-End運転を1から — 認識から制御までを1つのネットワークで ★ 会員 arXiv:1604.07316
  149. 論文解説: Frontis-MA1 — 「AIを作るAI」を鍛える。MLエンジニアリングで再帰的自己改善に一歩迫るOpenMLE ★ 会員 arXiv:2607.28568
  150. 論文解説: Interpretable MEG Decoding of Perceived Speech — 脳磁図から「聞いた音声」を当てるAIの中身を、脳地図として読む ★ 会員 arXiv:2608.01481
  151. 論文解説: LongHorizon-Harness — 長時間タスクは「実行」ではなく「状態管理」で解く ★ 会員 arXiv:2608.01964
  152. 論文解説: Mental World Modeling — 物理だけでなく「心」まで遷移させるワールドモデル ★ 会員 arXiv:2607.27201
  153. 論文解説: MerchantBench — LLMエージェントは1年間ネットショップを経営できるか。人間の27.3%しか稼げない理由 ★ 会員 arXiv:2607.28956
  154. 論文解説: Metis — 記憶を外付けせず、モデルの中に住まわせる「Memory Foundation Model」 ★ 会員 arXiv:2607.26760
  155. 物体検出を1から解説(YOLO・DETRまで) ★ 会員 arXiv:2005.12872
  156. 論文解説: 正解も強い教師もなしで伸びる — u-OPSD が使う「自分の多数決」 ★ 会員 arXiv:2608.06296
  157. 論文解説: OSReward — AIの「採点者」は信用できるか。コンピュータ操作エージェントの報酬を測り直す ★ 会員 arXiv:2607.28609
  158. 論文解説: PhiZero — 映像を描く前に「物理の言葉」で考える世界モデル ★ 会員 arXiv:2607.28624
  159. 論文解説: Qwen-UI-Agent — スマホもPCも操る「実世界基準」のGUIエージェントはこう作られた ★ 会員 arXiv:2607.28227
  160. 論文解説: Recursive Synthesis — 検証済みタスクを「増築」して、長時間ターミナル課題を4万件量産する ★ 会員 arXiv:2608.05466
  161. スケーリング則を1から解説 — なぜ大きくすると賢くなるのか ★ 会員 arXiv:2203.15556
  162. 論文解説: SwanTale — 参照音声なしで「言葉から声をデザインする」統合音声・オーディオ生成 ★ 会員 arXiv:2608.02023
  163. 論文解説: ToolArtist — 検索するか、描くか、描き直すか。それも自分で決める画像生成エージェント ★ 会員 arXiv:2608.04436
  164. 論文解説: TurboVLA — LLMを追い出したロボット方策が、RTX 4090・VRAM 1GB未満で32Hzを叩き出す ★ 会員 arXiv:2607.27205
  165. 論文解説: Video-DeepResearch — 動画を「見て、調べ尽くす」次世代マルチモーダル・エージェント ★ 会員 arXiv:2608.03979
  166. VLMの成立と現在 — 視覚エンコーダとLLMをどう繋ぐか ★ 会員 arXiv:2103.00020
  167. 論文解説: AgentOPSD — 「どのターンが勝敗を分けたか」をベイズ信念の再帰更新で見つけるエージェントRL ★ 会員 arXiv:2608.05987
  168. 論文解説: Alpamayo — 自動運転の推論モデル ★ 会員 arXiv:2511.00088
  169. 論文解説: AskChem — 検索の単位を「論文」から「出典付きクレーム」に変える文献インフラ ★ 会員 arXiv:2607.28618
  170. 論文解説: BDH-CQ — 言葉にせずに考えるAI。再帰メモリ×潜在推論がARCのコスト効率を塗り替えた ★ 会員 arXiv:2608.09888
  171. BEV表現を1から — 複数カメラを俯瞰図に統合する ★ 会員 "arXiv:2008.05711
  172. 論文解説: CodeNib — コーディングエージェントにリポジトリの文脈を「配膳」する多ビューデータシステム ★ 会員 arXiv:2607.25431
  173. 論文解説: DAPD — 蒸留の教師が持つ「カンニングペーパーの幻想」を二重アンカーで断つ ★ 会員 arXiv:2608.01735
  174. 論文解説: EnvACE — 環境まで自分で演じる「world rehearsal」がエージェントRLの環境不足を解く ★ 会員 arXiv:2608.06197
  175. Gemma系を1から解説 — 系譜・特徴・使いどころ ★ 会員 arXiv:2403.08295
  176. 論文解説: Macaron-V1 — 凍結ベース×LoRA混合で「出荷後も育つ」エージェントモデルを作る ★ 会員 arXiv:2608.09819
  177. Mixture of Experts (MoE) を1から解説 — Switch Transformerのルーティングと負荷分散 ★ 会員 arXiv:2101.03961
  178. 投機的デコーディングを1から解説 — 小さな下書きモデルで、出力を一切変えずにLLMを速くする ★ 会員 arXiv:2211.17192
  179. 論文解説: SWE-Bench ProMax — 多言語・大規模リファクタリングでコーディングエージェントの本当の実力を測る ★ 会員 arXiv:2608.09802
  180. 論文解説: The Personalization Mirage — LLMは「あなた」を勝手に作り上げ、自己申告は逆を指す ★ 会員 "arXiv:2608.04570
  181. 論文解説: WorldClaw — テキスト1文から「歩ける・編集できる」3Dオープンワールドをエージェントが建設する ★ 会員 arXiv:2608.05248
  182. 論文解説: CLIP — 言葉と画像を同じ地図に置く ★ 会員 arXiv:2103.00020
  183. 拡散モデルを1から理解する — ノイズを足して、引く ★ 会員 arXiv:2006.11239
  184. Instruction Tuning と RLHF を1から解説 — 指示に従うモデルはどう作られるか ★ 会員 arXiv:2203.02155
  185. LLMエージェントを1から解説 — ツール使用とループの設計 ★ 会員 arXiv:2210.03629
  186. プロンプトエンジニアリングの科学 — 何が実証され、何が迷信か 無料 arXiv:2201.11903
  187. 論文解説: Whisperはなぜ頑健なのか — 大規模弱教師あり学習 ★ 会員 arXiv:2212.04356
  188. 論文解説: ViT — 画像を単語のように扱う ★ 会員 arXiv:2010.11929
  189. 位置エンコーディングを1から理解する(絶対位置からRoPEまで) 無料 arXiv:1706.03762
  190. 論文解説 Attention Is All You Need — 再帰を捨てたモデルは何を証明したのか ★ 会員 arXiv:1706.03762
  191. 論文解説 LoRA: Low-Rank Adaptation of Large Language Models — なぜ低ランクで足りるのか ★ 会員 arXiv:2106.09685

④ 自己注意を、手で動かす

円卓に並んだ単語の間を、注意の重みが光となって飛びます。√d_k で割るのをやめると何が起きるか、因果マスクは何を遮るのか——スライダーを動かして確かめてください。

FIG 1計算しているのは論文どおりの scaled dot-product attention です。埋め込みだけは、注目先が読み取れるように8次元の玩具ベクトルを手で設計しています(学習済みモデルの重みではありません)。