学生版 社会人版
JA EN

#paper-review

12 記事

01 ·★ 会員·論文·15分で読めます 論文解説: S²VOPD — 教師を強くする代わりに、生徒の目を曇らせる Self-Supervised Visual On-Policy Distillation 正解ラベルも報酬も強い教師も使わずに視覚VLMを伸ばす S²VOPD を、論文本文に沿って解説。生徒側の画像だけを劣化させて「情報の非対称性」を作る反転の発想と、効く拡張・効かない拡張の切り分けを扱う。 02 ·LLM — 大規模言語モデル·★ 会員·論文·11分で読めます スケーリング則を1から解説 — なぜ大きくすると賢くなるのか Training Compute-Optimal Large Language Models 「モデルを大きくすれば賢くなる」を数式にしたのがスケーリング則。Kaplan則からChinchilla論文（Hoffmann et al., 2022）への転換を、400本超の実験・3つの推定法・70B対280Bの直接対決まで、論文本文だけを根拠に1から解説する。 03 ·論文解説·★ 会員·論文·12分で読めます 論文解説: Alpamayo — 自動運転の推論モデル Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail NVIDIAの自動運転VLA「Alpamayo-R1」を原論文から読み解く。因果の鎖で推論を構造化するChain of Causationデータセット、flow matchingで99msに収めた軌道デコード、推論と行動のズレをRLで罰する3段階学習まで、1から解説する。 04 ·VLM・マルチモーダル·★ 会員·論文·10分で読めます 論文解説: ViT — 画像を単語のように扱う An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale ViT原論文（Dosovitskiy et al., 2020/2021）を本文だけを根拠に読む。16×16のパッチを単語として扱うという一手、位置埋め込みのアブレーション、CNNの帰納バイアスを捨てた代償、そして「大規模データでCNNを超える」という条件付きの主張の中身。 05 ·音声系·★ 会員·論文·9分で読めます 論文解説: Whisperはなぜ頑健なのか — 大規模弱教師あり学習 Robust Speech Recognition via Large-Scale Weak Supervision Whisper原論文（Radford et al., 2022）を本文だけを根拠に読む。波形からログメルスペクトログラムへ、そしてencoder-decoderで直接テキストを出す設計。68万時間という規模が「ファインチューニングなしで頑健」をどう生んだのか、論文が実際に測った数字と、論文自身が認めた限界まで。 06 ·LLM — 大規模言語モデル·無料·論文·10分で読めます プロンプトエンジニアリングの科学 — 何が実証され、何が迷信か Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 「ステップバイステップで考えて」は効くのか。Chain-of-Thought論文（Wei et al., 2022）の本文だけを根拠に、実験で実証されたこと（規模の閾値を超えたモデルでのみ効く創発）と、巷の呪文の多くが未検証であることの線引きをする。 07 ·エージェント·★ 会員·論文·11分で読めます LLMエージェントを1から解説 — ツール使用とループの設計 ReAct: Synergizing Reasoning and Acting in Language Models 「考える→道具を使う→結果を見て考え直す」というループはどう設計されているのか。ReAct論文（Yao et al., 2022）の本文だけを根拠に、行動空間に言語を足すという発想、function callingの実装の形、実測された失敗モード（ループの暴走・幻覚したツール呼び出し）まで。 08 ·学習手法・アライメント·★ 会員·論文·13分で読めます Instruction Tuning と RLHF を1から解説 — 指示に従うモデルはどう作られるか Training language models to follow instructions with human feedback 事前学習しただけのモデルが指示に従わないのは能力不足ではなく目的関数のずれ。InstructGPT論文（Ouyang et al., 2022）の本文だけを根拠に、SFT→報酬モデル→強化学習の3段を式まで追い、「1.3Bが175Bを人間評価で上回った」という主張と、論文自身が認めた限界を§番号付きで読む。 09 ·生成モデル·★ 会員·論文·14分で読めます 拡散モデルを1から理解する — ノイズを足して、引く Denoising Diffusion Probabilistic Models DDPM原論文（Ho et al., 2020）を本文だけを根拠に読む。ノイズを足す前向き過程と引く逆過程、なぜ目的関数が「ノイズを当てる」形に落ち着くのか、単純化した損失が尤度を悪化させながら品質を上げた理由、そしてステップ数と品質の関係。 10 ·VLM・マルチモーダル·★ 会員·論文·9分で読めます 論文解説: CLIP — 言葉と画像を同じ地図に置く Learning Transferable Visual Models From Natural Language Supervision CLIP原論文（Radford et al., 2021）を本文だけを根拠に読む。バッチ内の正例と負例で学ぶ対照学習の仕組み、テキスト側が分類器の重みを作るというゼロショットの正体、プロンプトで5%動く事実、そして論文自身が並べた長い限界のリスト。 11 ·論文解説·★ 会員·論文·13分で読めます 論文解説 LoRA: Low-Rank Adaptation of Large Language Models — なぜ低ランクで足りるのか LoRA: Low-Rank Adaptation of Large Language Models LoRA原論文（Hu et al., 2021）を本文だけを根拠に読み直す。BAという式の意味、論文が実測した「増幅率21倍」、r=1で足りた理由、そして論文自身が残した未検証領域まで。 12 ·論文解説·★ 会員·論文·14分で読めます 論文解説 Attention Is All You Need — 再帰を捨てたモデルは何を証明したのか Attention Is All You Need Transformerの原論文を、本文だけを根拠に読み解く。スケーリング付き内積注意の式、なぜルートd_kで割るのか、アブレーションが暴いた設計の急所、そして論文自身が認めた限界まで。