#llm

68 記事

01 ·論文解説·★ 会員·論文·16分で読めます 論文解説: Refusal in Language Models Is Mediated by a Single Direction — 「断る」はモデル内部の1本の方向だった Refusal in Language Models Is Mediated by a Single Direction チャットモデルが有害な依頼を断る振る舞いは、残差ストリームの中の1本の方向で仲介されている。有害・無害の指示での活性化の差分平均でその方向を見つけ、引けば拒否が消え、足せば無害な依頼でも拒否が出ることを13モデルで示した論文を、解釈可能性の観点から読み解く。 02 ·論文解説·★ 会員·論文·10分で読めます 論文解説: EVISKILL — エージェントの手順書を「再生できる証拠」で書き換える EVISKILL: Grounding Skill Evolution in Replayable Evidence LLMエージェントの手順書（スキル）を経験から自動で改訂するとき、修正ごとに根拠となる実行区間を記録し、その区間だけを再実行して効き目を確かめる枠組み。3つのベンチマークと6つのモデルの組み合わせ18通りのうち14通りで最高精度でした。 03 ·論文解説·★ 会員·論文·8分で読めます 論文解説: Persona Dosing — LLMの性格の「強さ」を点数で指定する活性化ステアリング Persona Dosing: Calibrated Activation Steering for Graded Trait Control 活性化ステアリングの係数には「どれだけ性格が出るか」という意味がない。PersonaDoseは説明文で動く共有コントローラを学習し、後から強さと点数の対応表を測って「迎合度60で」と頼める形にした。 04 ·推論・高速化·★ 会員·論文·10分で読めます 論文解説: Beyond Teacher Assignment — 複数の専門家を1つのモデルに蒸留するとき「誰が教えるか」だけでは足りない理由 Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation 数学・コード・指示追従の専門家モデルを1つの生徒に蒸留するMOPDでは、指示追従の教師の声が大きすぎて数学がほとんど移らない。DN-MOPDは教師ごとのフィードバックのばらつきを測って音量をそろえる、1行で足せる改良です。 05 ·推論・高速化·★ 会員·論文·12分で読めます 論文解説: Post-Training Leaves Behavioral Shadows on Unrelated Decisions — 無関係な「1単語」から能力が移る Post-Training Leaves Behavioral Shadows on Unrelated Decisions コードで追加学習したモデルに、コードと無関係な「2語のどちらか」を選ばせるだけで、その能力の一部を別のモデルへ移せる——Active Taskless Distillation(ATD)を、前提知識ゼロから式・対照実験・限界まで解説。 06 ·LLM — 大規模言語モデル·★ 会員·論文·12分で読めます 論文解説: Bellman Policy Optimization — 価値モデルなしで「方策ミラー降下」をLLMに持ち込む Bellman Policy Optimization ゴールでしか採点されないLLMの強化学習で、途中の状態価値を一切推定せずに方策ミラー降下（PMD）と同じ最適解を狙うBPO (arXiv:2609.15987)。ベルマン方程式の「伸縮する和」から実用損失までを、論文本文だけを根拠に1から解説する。 07 ·推論・高速化·★ 会員·論文·11分で読めます 論文解説: When EOS Tokens Disagree — オンポリシー蒸留で生徒が「止まれなくなる」原因は終了トークンの食い違いだった When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation オンポリシー蒸留(OPD)で生徒の応答が生成上限まで伸び続ける「長さの膨張」。その大きな原因が、生徒と教師で「終わり」を表す特殊トークンが食い違うことだと示した論文(arXiv:2609.20511)を、本文だけを根拠に1から解説する。 08 ·推論・高速化·★ 会員·論文·12分で読めます 論文解説: Negative Self-Distillation — 「ダメな自分」から離れて推論を学ぶ Negative Self-Distillation: Learning to Reason by Avoiding Flaws 模範解答を真似させる自己蒸留(OPSD)は、推論モデルの『迷って見直す力』を奪うことがある。NSDはモデル自身に『雑な解き手』を演じさせ、その悪い先生から離れる方向にだけ学習する。正解ラベル不要の新しい後学習を1から解説。 09 ·推論・高速化·★ 会員·論文·9分で読めます 論文解説: Steering Geometry — LLMの「操縦ベクトル」は人間の価値観の地図を映しているか Steering Geometry: Validating Human Value Geometry in LLM Steering Space 推論時にLLMの内部へ『向き』を足して振る舞いを変えるアクティベーション・ステアリング。その向きが人間の価値観の円環構造をなぞっているかを、20価値・約2.6万件のベンチマークで検証した論文を、前提知識ゼロから解説します。 10 ·LLM — 大規模言語モデル·★ 会員·論文·9分で読めます 論文解説: OmniEdu — 「解く・位置づける・見立てる・導く」の4能力で作る教育用オープンLLM OmniEdu: Open Foundation Models for Learning and Teaching K-12教育向けのオープンLLM「OmniEdu」を解説。約134万件の候補から6万951件を選ぶデータ設計と、答えを言う/言わないを切り替える「教え方の指示」、評価結果と限界までを1から読み解く。 11 ·推論・高速化·★ 会員·論文·10分で読めます 論文解説: An Open Recipe for IMO Gold — オープンモデルで国際数学オリンピック金メダル水準に届いた「生成・検証・修正」の設計 An Open Recipe for IMO Gold: Training Nemotron for Olympiad Mathematics Nemotron 3 Ultra の3チェックポイントで証明を生成・検証・修正し、IMO 2026 で42点中30点(金メダル水準)に届いたNVIDIAの公開レシピを、推論時計算の設計という観点から1から解説します。 12 ·LLM — 大規模言語モデル·★ 会員·論文·18分で読めます 論文解説 Feyospace-v1 — 7人のチームが「環境」でサイバーAIを鍛えた話 Feyospace-v1: How the Cyber Mercury Seven Trained Frontier Cyber Models 7人の独立チームがオープンウェイトモデルをサイバー領域で鍛え上げた記録。鍵はモデル規模ではなく、リセット可能な実行環境と16万本の監査済み軌跡だった。論文の数字に沿って設計と限界を読み解く。 13 ·推論・高速化·★ 会員·論文·18分で読めます 論文解説: BeaconKV — 「思考を読み返す瞬間」を先読みしてKVキャッシュを捨てる BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference 推論モデルは長い思考の途中で、序盤に立てた方針をふと読み返す。その瞬間のクエリは埋め込み空間で少数の塊を作る——だから塊の代表（ビーコン）を数十本持っておけば、どのKVを残すべきか先読みできる。学習不要で最大5.8倍のメモリ削減・4.3倍超のスループットを実測した論文を、式とコードで読み解きます。 14 ·推論・高速化·無料·論文·11分で読めます KVキャッシュ圧縮 — 量子化・追い出し・共有で長文推論を軽くする KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache 文脈を長くすると、GPUに載る同時実行数が減る。犯人はKVキャッシュで、その大きさは1本の掛け算式で決まります。式の項は3つしかないので、圧縮の方向も3つしかありません——精度を落とす、捨てる、共有する。KIVI・H2O・SnapKV・GQA・アテンションシンクを、その3項の上に並べ直します。 15 ·エージェント·★ 会員·論文·11分で読めます 論文解説: S³Gym — 自己テストと自己採点は、自己改善になるのか S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? LLMエージェントは自分の経験から本当に学べるのか。探索と評価を分離した7つのゲーム環境で、生履歴・要約メモリ・パラメータ学習の3ルートを同一条件で比較した論文を、前提知識ゼロから読み解く。 16 ·LLM — 大規模言語モデル·★ 会員·論文·17分で読めます 論文解説: RealSWE — 「バグ直して」だけの依頼でコーディングエージェントを測り直す RealSWE: A Compositional Evaluation of Coding Agents under Realistic User Requests SWE-benchの問題文は現実のユーザー依頼と別物だ、という主張を実データで測り、同じタスクの情報構成と文体だけを入れ替えられる381のタスク族を作った論文。正解率は平均6.4pt落ち、順位まで入れ替わる。 17 ·エージェント·★ 会員·論文·14分で読めます 論文解説: いつ経験を「再利用しない」か — 自律ポストトレーニングの条件付き経験転移(BCIT) Knowing When Not to Reuse: Conditional Experience Transfer in Autonomous LLM Post-Training 「前に効いた更新」を今の親モデルにそのまま適用してよいかを、学習を回す前に判定する。BCITは出典の強さ・現文脈への適合・名指しの矛盾から Reject / Validate / Train を選ぶ。 18 ·無料·論文·11分で読めます Chain-of-Thought を1から — 「考えを書かせる」と何が変わるのか Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 「ステップごとに考えて」と一言足すだけで解ける問題が増えるのはなぜか。few-shot CoT・zero-shot CoT・self-consistency を前提知識ゼロから解説し、計算の直列化という理屈、効かない条件、推論モデルとの関係まで踏み込む。 19 ·推論・高速化·★ 会員·論文·16分で読めます 論文解説: 訓練データが1問でも、オンポリシー蒸留は数百ステップ伸び続ける Rethinking On-Policy Distillation of Large Language Models II: One Training Example 訓練クエリを1問に絞ってもオンポリシー蒸留は数百ステップ改善し続け、フルデータの伸びの大半を回収する。論文はその理由を「状態カバレッジ」と「吸収率」の2つで説明し、OPDはデータ過多・アルゴリズム不足だと結論づける。 20 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説: Random Attention — KVキャッシュの追い出しは「ランダムで十分」だった Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning KVキャッシュから何を捨てるかを決める「重要度スコア」は、ほとんど効いていなかった。プロンプトだけ守って残りをヘッドごとに一様ランダムで捨てるだけで最強手法と同等の精度、しかもvLLMで32〜43%速い。4モデル×6タスクの実測と、なぜそうなるかの2つの対照実験を読み解きます。 21 ·RAG・検索拡張·無料·10分で読めます RAG vs ファインチューニング — どちらを、いつ選ぶか LLMを賢くする二大手法を、知識の鮮度・コスト・幻覚・データ量の4軸で比べる。比喩→仕組み(式)→動く図→判断表→現場の落とし穴まで、前提知識ゼロから。 22 ·RAG・検索拡張·★ 会員·論文·18分で読めます 論文解説: Hi-Q — 質問を「検索できる粒度」まで、証拠を見ながら割っていく Hi-Q: Hierarchical Evidence-guided Query Refinement for Multi-Hop Question Answering 多段推論QAの本当のボトルネックは「質問の粒度」と「検索できる粒度」のズレにある。Hi-Qは、まず答えてみて答えられなかったノードだけを依存順に二分割していく。しきい値としての制御、木の育て方、そして実測値を前提知識ゼロから解説する。 23 ·LLM — 大規模言語モデル·★ 会員·論文·15分で読めます 論文解説: Puro-2B — コンシューマGPUで2Bモデルを$6.9Kからゼロ事前学習する Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090 ゲーミング向けGPUのRTX 5090で1.4兆トークンの事前学習を回し、Qwen2-1.5B級の性能に約$4.4Kで届いたという報告を、コスト構造・FP8・実効学習率・カリキュラム平均の順に1から解説する。 24 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説: Normalized Low-Rank Adaptation — LoRAの「入口行列」を正規化するだけで効く理由 Normalized Low-Rank Adaptation LoRAのダウン射影行列Aを「ランク方向に単位長へそろえる」だけで、収束・安定性・忘却耐性が改善する。原題 Normalized Low-Rank Adaptation (NoRA) を、隠れた前処理行列という視点から1から解説する。 25 ·評価と審判·★ 会員·論文·12分で読めます ベンチマーク汚染 — 「高スコア」を疑う技術 Rethinking Benchmark and Contamination for Language Models with Rephrased Samples ベンチマークの高スコアが実力なのか暗記なのかを見分けるための記事。汚染の3つの型、n-gram重なり・埋め込み近傍・メンバーシップ推論という検出手段とその限界、カナリア文字列と時系列分割の仕組みを1から解説し、論文を読むときの警戒点をチェックリストにまとめる。 26 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説: On-Policy Distillationは本当に蒸留しているのか — ノイズまみれの教師から自己改善へ Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement 教師モデルの採点は3〜5割が誤っているのに、生徒はなぜか同じだけ伸びる。On-Policy Distillationの改善が「教師の真似」ではなく「低確率トークンの抑制」から来ていることを突き止め、教師を捨てた手法OPSAに至った論文を、前提知識ゼロから解説する。 27 ·学習手法・アライメント·★ 会員·論文·15分で読めます 論文解説: PaperGym — 論文1本を「採点基準つきの練習場」に変えて研究計画を学習させる PaperGym: Rubric-Centered Evolution for Research-Plan Generation 研究計画には正解がないので強化学習の「環境」が作れない。論文を4つの引き出しに分解し、問いと採点基準を別々の引き出しから作ることで、言い換えでは点が取れない練習場を20,000本ぶん自動生成した研究を、前提知識ゼロから解説する。 28 ·推論・高速化·★ 会員·論文·17分で読めます 論文解説: DART-SD — ツール呼び出しエージェントの「ダイヤ型の解空間」を壊さずに学習する DART-SD: Diamond-topology Aware Retrieval and Tuning for Self-Distillation of Multi-Turn Tool-Calling Agents 順不同のサブゴールを含む多ターンのツール呼び出しでは、正解の集合が『ダイヤ格子』状に広がる。軌跡まるごとの模倣がなぜそれを潰すのか、状態グラフで『最初に転んだ地点』を特定してそこから先だけを直す学習で何が変わるのかを、前提知識ゼロから解説する。 29 ·論文解説·★ 会員·論文·16分で読めます 論文解説 J-Zero: 出題者・解答者・審判を同時に育てる「データゼロ」自己進化 J-Zero: Unified Challenger--Solver--Judge Co-Evolution from Zero Data 外部データも人手のラベルも使わず、モデルが自分で問題を作り、解き、採点して成長する枠組み。J-Zero は採点役（Judge）も一緒に育てることで、従来手法が2反復で頭打ちになる壁を越えた。 30 ·LLM — 大規模言語モデル·★ 会員·論文·13分で読めます 論文解説: Agentic Artifact Creation — 「生成」と「納品物を組み立てる」はどう違うのか Agentic Artifact Creation: Systems, Evaluation, Principles, and Opportunities 259件の文献を「納品される成果物」という一点から整理したサーベイ。状態・編集・検証という3つの役でエージェント的創出を定義し、6ファミリー・評価の3対象・4原則・6つの未解決問題まで、前提知識ゼロから読み解きます。 31 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説 TTPO: 正解ラベルなしで、テストの最中にモデルを鍛える TTPO: Test-Time Policy Optimization 多数決で作った疑似ラベルは競技数学では約85%外れる。それでも学習が成立するのはなぜか。賛成した出力は蒸留し、反対した出力はRLで罰するという「非対称」な設計を、前提知識ゼロから解説する。 32 ·エージェント·★ 会員·論文·11分で読めます 論文解説: FrontierChallenge — 科学の仕事を「最後まで納品できたか」で測る FrontierChallenge: Evaluating Scientific Workflow Completion 科学ワークフローを最後まで完遂できるかを測るベンチマーク FrontierChallenge の解説。平均点87.9でも完全達成は20.6%、電気化学では平均94.9でPass Rate 0%。未達の軌跡の75.5%が「完了しました」と述べて終わっていた。 33 ·推論・高速化·無料·論文·15分で読めます 構造化出力と制約デコーディング — JSONを壊さない仕組み Efficient Guided Generation for Large Language Models 「JSONで返して」とお願いする代わりに、文法的に許されないトークンを出す前に確率ゼロへ落とす — 制約デコーディングの仕組みを、logitマスクから語彙のインデックス化、function callingの裏側、そして「構文は守れても中身は守れない」限界まで1から解説する。 34 ·LLM — 大規模言語モデル·★ 会員·論文·12分で読めます スケーリング懐疑論 — 「大きくするだけ」批判の系譜 Training Compute-Optimal Large Language Models 「パラメータとデータを増やせば賢くなる」への批判を、データ枯渇・推論の壁・世界モデル論争の3方向から公平に整理します。擁護側の証拠も同じ精度で並べ、どの実験結果が出れば論争が決着するのかまで踏み込みます。 35 ·推論・高速化·無料·14分で読めます プロンプトキャッシュとコンテキスト設計 — 前方一致という一本の制約が、請求額を桁で変える 同じシステムプロンプトを毎回読み直させて、毎回その分を払っていませんか。プロンプトキャッシュは前方一致でしか効かない——この一点だけで、コンテキストに何をどの順で置くべきかが決まります。先頭に現在時刻を1つ入れただけで全滅する理由と、TTLを読み違えて逆に25%高くなる事故まで。 36 ·エージェント·無料·論文·12分で読めます マルチエージェント設計パターン — 分担・討論・検証 Improving Factuality and Reasoning in Language Models through Multiagent Debate エージェントを何体並べても、全員が同じ間違い方をするなら1体と変わりません。多数決が効く条件を式で押さえたうえで、分担・討論・敵対的検証の3つの型を、いつ使い、いつ1体で済ませるべきかまで整理します。 37 ·推論・高速化·無料·論文·13分で読めます LLMサービングを1から — vLLM・連続バッチングで、GPUを遊ばせない Efficient Memory Management for Large Language Model Serving with PagedAttention モデルが動くことと、100人ぶんのリクエストを捌けることは別の問題です。重みも答えも変えず、投げる順番とまとめ方だけで同じGPUの処理量が何倍も変わる——その理屈を演算強度・連続バッチング・PagedAttentionの3点から追い、スループットとレイテンシが同時には良くならない理由と実測値の読み方まで。 38 ·LLM — 大規模言語モデル·無料·論文·11分で読めます ハルシネーションはなぜ起きる — 仕組みと現実的な対策 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks LLMが平然と嘘をつくのはバグではなく、次トークン予測という学習目的の素直な帰結。損失関数に真偽の項がないこと、圧縮された知識が端から崩れること、サンプリングが裾を引くこと、採点方法が当てずっぽうに報酬を与えることを1から分解し、RAG・引用照合・不確実性推定という現場で実際に効く順に対策を並べる。 39 ·情報理論·★ 会員·論文·14分で読めます 圧縮＝予測＝知能 — 情報理論から見るLLM Language Modeling Is Compression 次のトークンを当てる訓練は、そのままファイルを縮める訓練でもあります。算術符号化を経由すると「確率モデル」と「符号」が同じものだと分かり、交差エントロピー損失が圧縮後のバイト数そのものになる。Hutter Prizeが圧縮率を知能の指標に据えた理由まで、1から積み上げます。 40 ·エージェント·無料·論文·12分で読めます 【実装】エージェントループを自作する — ツール呼び出しの最小形 ReAct: Synergizing Reasoning and Acting in Language Models 「AIエージェント」の中心はwhile文ひとつです。JSON関数呼び出しの形、ReActが残した設計、そして事故のほとんどが集まる停止条件までを、フレームワークを使わない40行のコードとして1から組み上げます。 41 ·論文解説·★ 会員·論文·14分で読めます 論文解説: Apodex 1.1 — 「完了した仕事」を単位にエージェントをスケールさせる Apodex 1.1: Scaling Agentic Intelligence for Complex Work モデルを大きくするのでも推論時間を伸ばすのでもなく、「環境」と「協調」の2面をスケールさせる——Apodexチームの技術報告を、タスク契約の式からAgentOSの納品ゲート、数字と限界まで1から解説する。 42 ·LLM — 大規模言語モデル·★ 会員·論文·10分で読めます アライメント概説 — RLHFからConstitutional AIまで Training language models to follow instructions with human feedback アライメントとは何と何を揃える作業なのかを、目的・仕様・代理の3層に分けて整理する。RLHFもDPOもConstitutional AIも「報酬 − 参照モデルから離れた罰」という同じ骨格を解いていること、代理を押し切ると必ず報酬ハッキングが出ること、無害さを強めた分だけ有用さが削れる取引の構造を、式と実装の落とし穴まで含めて解説する。 43 ·エージェント·無料·論文·14分で読めます エージェントの記憶設計 — 短期・長期・エピソード MemGPT: Towards LLMs as Operating Systems LLMは何も覚えていません。会話が続いて見えるのは毎ターン全履歴を読み直させているからです。短期・エピソード・長期の3層に分ける設計、想起を決める式、そして最も設計されていない「忘れる」まで、前提知識ゼロから組み立てます。 44 ·Transformerの仕組み·無料·論文·13分で読めます Transformer完全解剖 — 埋め込みから出力まで一気通貫 Attention Is All You Need 「今日は」と打ってから「いい天気」が返るまで、たった1つのトークンが何を持たされ、どこで書き換えられ、最後にどうやって言葉に戻るのか。分かち書き・埋め込み・位置・注意・フィードフォワード・残差・出力ヘッドまで、部品を並べるのではなく1本の旅として通しで歩く地図。 45 ·LLM — 大規模言語モデル·無料·論文·11分で読めます 事前学習データの作り方 — Webから教科書品質へ The Pile: An 800GB Dataset of Diverse Text for Language Modeling 「大量のWebデータで学習した」の一行の裏には、本文抽出・品質フィルタ・重複除去・混合比という4つの工程がある。CommonCrawlという砂利の山から教科書品質の文章を選り分ける仕組みを、MinHashの式から現場で触るパラメータ名まで1から解説する。 46 ·セキュリティ·★ 会員·論文·13分で読めます LLMセキュリティ — プロンプトインジェクションと防御 Not What You've Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection LLMは「上司の指示」と「書類に書かれた文字」を区別できない。この一点から生まれる直接注入・間接注入・ツール境界の問題を前提知識ゼロから解き、プロンプトで守ろうとする誤りと、実行層に境界を置く多層防御の組み方までを扱う。 47 ·RAG・検索拡張·★ 会員·論文·14分で読めます GraphRAGを1から — 知識グラフと検索の融合 From Local to Global: A Graph RAG Approach to Query-Focused Summarization 文書をエンティティと関係の網に組み替えると、普通のRAGでは原理的に答えられない「全体としてどうなのか」に届く。抽出・名寄せ・コミュニティ要約・local/global検索を1から積み上げ、最後に「どこで過剰か」を正直に見積もる。 48 ·論文解説·★ 会員·論文·18分で読めます 論文解説 Large Discovery Models — LLMに「次に何を試すべきか」を教える価値信号 Large Discovery Models: Empirically-grounded Model-Based Open-Ended Search LLMは案を出せても、その案が本当に良いかを自分では採点できない。論文 Large Discovery Models は、LLMの提案分布をガウス過程由来の「獲得値」で傾けることで、高価な実験予算のもとでの探索を回す枠組みを示す。式から実験数値まで1から解説。 49 ·エージェント·★ 会員·論文·17分で読めます 論文解説: FACET — 指示・環境・解答・採点を「同じ実行状態」に接地させる課題合成 FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis ターミナル課題は「指示文・環境・模範解答・採点器」の4点セット。FACETは環境を先に建てて動かし、その実現済み状態を全部品の共通の地面にすることで整合を取る。7万件のスキルから6,078課題を作り、1.2Kの成功軌跡だけでQwen3.5を4B/9B/27Bとも底上げした論文を1から解説する。 50 ·推論・高速化·★ 会員·論文·23分で読めます 論文解説: Agentic ESOpt — 逆伝播をやめて「モデルを揺らす」だけで、長丁場のLLMエージェントを鍛える Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Requirements 勾配を一切計算せず、パラメータにノイズを足した分身をG体走らせて良かった方向へ寄せるだけ——推論と同じGPUメモリ(8.41GB)で27Bの全パラメータを更新し、15手必要な数独でGRPOに12.50ポイント差をつけたNUSらの論文を、1から解説する。 51 ·LLM — 大規模言語モデル·★ 会員·論文·16分で読めます 論文解説: SA-MRPO — 満点の科目を勉強し続けるな。飽和した報酬から勾配を引きはがす Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization 報酬を複数使うRL学習では、すでに満点に近い目的にも勾配予算が配られ続ける。SA-MRPO (arXiv:2608.16072) は目的ごとの「飽和率」を測って重みを割り引き、伸びしろの残る目的へ最適化の力を回す。論文本文だけを根拠に、仕組みと限界を解説する。 52 ·LLM — 大規模言語モデル·無料·論文·11分で読めます スケーリング則を1から解説 — なぜ大きくすると賢くなるのか Training Compute-Optimal Large Language Models 「モデルを大きくすれば賢くなる」を数式にしたのがスケーリング則。Kaplan則からChinchilla論文（Hoffmann et al., 2022）への転換を、400本超の実験・3つの推定法・70B対280Bの直接対決まで、論文本文だけを根拠に1から解説する。 53 ·エージェント·★ 会員·論文·15分で読めます 論文解説: Recursive Synthesis — 検証済みタスクを「増築」して、長時間ターミナル課題を4万件量産する Recursive Synthesis for Long-Horizon Terminal Tasks 1件数百〜数千ドルかかる長時間ターミナルタスクを、検証済みの種から再帰的に増築して約$0.05で量産するRST。15ラウンドで37,484件、模範解答は中央値67行から374行へ難化し、その軌跡でQwen3.5をSFT+PPOで実際に強くした——Tencentらのデータ合成論文を1から解説する。 54 ·推論・高速化·無料·論文·18分で読めます 論文解説: 正解も強い教師もなしで伸びる — u-OPSD が使う「自分の多数決」 On-Policy Self-Distillation without Any Supervision 模範解答も強い教師モデルも使わず、モデル自身が出した8本の答案の多数決を『特権的な文脈』に仕立てて自己蒸留する u-OPSD（arXiv:2608.06296）を、論文本文だけを根拠に1から解説する。 55 ·エージェント·無料·論文·11分で読めます 論文解説: Metis — 記憶を外付けせず、モデルの中に住まわせる「Memory Foundation Model」 Metis: Memory Foundation Model AIエージェントの記憶は今もRAGなどの「外付け」が主流。この論文は記憶をモデル本体の順伝播に内蔵する Memory Foundation Model を提唱し、初のプロトタイプ Metis を提案する。覚える・忘れる・更新するを勾配なしのforward計算だけで実行する仕組みと、その実力・限界を1から解説。 56 ·エージェント·無料·論文·12分で読めます 論文解説: MerchantBench — LLMエージェントは1年間ネットショップを経営できるか。人間の27.3%しか稼げない理由 MerchantBench: Benchmarking LLM Agents for Long-Term Coherence in E-Commerce Operations 365日のEC店舗経営シミュレーションでLLMエージェントの「長期一貫性」を測るMerchantBenchを論文本文から解説。最良構成でも人間の平均純資産の27.3%にとどまる理由を、活動の減衰・早すぎる撤退・証拠に合わない方針固定化という失敗パターンから読み解く。 57 ·エージェント·無料·論文·12分で読めます 論文解説: Mental World Modeling — 物理だけでなく「心」まで遷移させるワールドモデル Mental World Modeling シーンの物理を完璧に追えても、人の次の行動は当てられない——信念・意図・感情・規範を状態変数として持ち、行動が物理と心を同時に更新する Mental World Modeling (MWM) の定式化と、訓練不要ベースライン Mentis による8モデル検証を、論文本文から数値つきで解説する。 58 ·エージェント·無料·論文·10分で読めます 論文解説: LongHorizon-Harness — 長時間タスクは「実行」ではなく「状態管理」で解く LongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks モデルを一切変えずに、タスク状態を実行の外に置き「管理→実行→監査」のループで回すだけで、長時間タスクの成績が大きく伸びる——Alibaba DreamXチームのハーネス設計論文を、比喩と擬似コードで1から解説する。 59 ·推論・高速化·無料·論文·11分で読めます 投機的デコーディングを1から解説 — 小さな下書きモデルで、出力を一切変えずにLLMを速くする Fast Inference from Transformers via Speculative Decoding 小型モデルに数トークン先まで下書きさせ、大型モデルが一括検証する「投機的デコーディング」。出力分布を数学的に変えないまま2〜3倍速くなる仕組みを、採択率αの直感とともに原論文から解説する。 60 ·モデル系統図鑑·無料·論文·12分で読めます Gemma系を1から解説 — 系譜・特徴・使いどころ Gemma: Open Models Based on Gemini Research and Technology GoogleのオープンウェイトLLM「Gemma」を系譜から解説。蒸留・局所注意・実効パラメータという各世代の発明、ライセンスの実務注意、Ollamaでのローカル運用までを1本で通す。 61 ·推論・高速化·無料·論文·11分で読めます 論文解説: DAPD — 蒸留の教師が持つ「カンニングペーパーの幻想」を二重アンカーで断つ DAPD: Dual-Anchored Policy Distillation 模範解答を見た教師から蒸留すると、生徒は本番で「見えない答えを思い出したふり」をする——この privilege illusion の根本原因を情報の非対称性と特定し、二重のアンカーで解消する DAPD (arXiv:2608.01735) を論文本文だけを根拠に解説する。 62 ·LLM — 大規模言語モデル·無料·論文·10分で読めます プロンプトエンジニアリングの科学 — 何が実証され、何が迷信か Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 「ステップバイステップで考えて」は効くのか。Chain-of-Thought論文（Wei et al., 2022）の本文だけを根拠に、実験で実証されたこと（規模の閾値を超えたモデルでのみ効く創発）と、巷の呪文の多くが未検証であることの線引きをする。 63 ·エージェント·無料·論文·11分で読めます LLMエージェントを1から解説 — ツール使用とループの設計 ReAct: Synergizing Reasoning and Acting in Language Models 「考える→道具を使う→結果を見て考え直す」というループはどう設計されているのか。ReAct論文（Yao et al., 2022）の本文だけを根拠に、行動空間に言語を足すという発想、function callingの実装の形、実測された失敗モード（ループの暴走・幻覚したツール呼び出し）まで。 64 ·学習手法・アライメント·無料·論文·13分で読めます Instruction Tuning と RLHF を1から解説 — 指示に従うモデルはどう作られるか Training language models to follow instructions with human feedback 事前学習しただけのモデルが指示に従わないのは能力不足ではなく目的関数のずれ。InstructGPT論文（Ouyang et al., 2022）の本文だけを根拠に、SFT→報酬モデル→強化学習の3段を式まで追い、「1.3Bが175Bを人間評価で上回った」という主張と、論文自身が認めた限界を§番号付きで読む。 65 ·Transformerの仕組み·無料·論文·13分で読めます 位置エンコーディングを1から理解する（絶対位置からRoPEまで） Attention Is All You Need Transformerは素のままでは語順を知らない。なぜ位置情報が要るのかから始めて、sin/cosの絶対位置、学習型、そして現代LLMの標準であるRoPEまでを段階的に解説。「なぜ回転が相対位置を表せるのか」を式で示す。 66 ·推論・高速化·無料·10分で読めます KVキャッシュを1から理解する — 推論高速化の核心 LLMは1トークンずつ答えを吐きます。素朴に実装すると、1トークン出すたびに文全体を計算し直すという壮大な無駄が生まれる。KとVは過去のぶんが二度と変わらない——この一点だけで計算量が桁で落ちます。代わりに払うのがメモリで、その量は自分で見積もれます。バッチサイズと文脈長がなぜメモリで頭打ちになるのかまで。 67 ·論文解説·無料·論文·13分で読めます LoRA 論文解説：Low-Rank Adaptation とは？低ランクで足りる理由を原論文からわかりやすく LoRA: Low-Rank Adaptation of Large Language Models LoRA とは何か、原論文（Hu et al., 2021）を本文だけを根拠に読み直す。BAという式の意味、論文が実測した「増幅率21倍」、r=1で足りた理由、そして論文自身が残した未検証領域まで。 68 ·RAG・検索拡張·無料·10分で読めます RAGの基礎と設計パターン — 埋め込み・チャンク・リランキング・評価を1から 検索拡張生成（RAG）を前提知識ゼロから解説。仕組みの直感、チャンク分割の戦略、ハイブリッド検索とリランキング、そして最重要の評価設計まで。