#fine-tuning

23 記事

01 ·学習手法・アライメント·★ 会員·論文·8分で読めます 論文解説: Transformers Stop Thinking Too Early — 3行で止まる参照追跡を、1層のランク8 LoRAが50行へ伸ばす Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It 事前学習済みLLMは文脈内の変数参照を2〜3行しかたどれない。全重みを凍結したまま初期の1層にランク8のLoRA（約6.5万パラメータ）を足すと、Qwen3-8Bは24行の鎖で15.5%→99%になる。中間層で走る「リレー」と、効く層の限界を論文本文に沿って読む。 02 ·学習手法・アライメント·★ 会員·論文·8分で読めます 論文解説: Transformers Stop Thinking Too Early — 3行で止まる参照追跡を、1層のランク8 LoRAが50行へ伸ばす Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It 事前学習済みLLMは文脈内の変数参照を2〜3行しかたどれない。全重みを凍結したまま初期の1層にランク8のLoRA（約6.5万パラメータ）を足すと、Qwen3-8Bは24行の鎖で15.5%→99%になる。中間層で走る「リレー」と、効く層の限界を論文本文に沿って読む。 03 ·学習手法・アライメント·★ 会員·論文·10分で読めます 論文解説: 言い回しで点が変わるAI査読者をどう測り、どう直すか — RobustReview と SciCore A Missing Piece for Trustworthy AI Reviewers: From Benchmarking Rhetorical Robustness to SciCore Review 同じ科学を別の言い回しで書くとAI査読者の点が変わる問題を「修辞的頑健性」として定式化した論文の解説。安定性だけを見ると騙される『偽の頑健性』と、原稿の評価と“科学の芯”の評価を平均する SciCore を、指標の式とコードで1から読み解きます。 04 ·学習手法・アライメント·★ 会員·論文·11分で読めます 論文解説: WanPE — 動画生成のプロンプトを「監督の撮影計画」に変える WanPE: Towards Cinematic Prompt Enhancement for Modern Text-to-Video Generation 短い依頼文を、ショットごとのカメラ・照明・音まで決めた撮影計画に書き直すモデルWanPE。実動画から逆向きに教師データを作る発想と、要求の取りこぼしを罰する強化学習SC-GRPOを前提知識ゼロから解説します。 05 ·学習手法・アライメント·★ 会員·論文·11分で読めます 論文解説: WanPE — 動画生成のプロンプトを「監督の撮影計画」に変える WanPE: Towards Cinematic Prompt Enhancement for Modern Text-to-Video Generation 短い依頼文を、ショットごとのカメラ・照明・音まで決めた撮影計画に書き直すモデルWanPE。実動画から逆向きに教師データを作る発想と、要求の取りこぼしを罰する強化学習SC-GRPOを前提知識ゼロから解説します。 06 ·学習手法・アライメント·★ 会員·論文·16分で読めます 論文解説: SpeakerMem-R1 — グループチャットの「誰が・誰について・いつ」を忘れない二重記憶 SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue 複数人の会話を長期記憶するSpeakerMem-R1を1から解説。発言の原文と「人ごと・グループごと」に整理した状態を二本立てで持ち、記録係の小型モデル(Qwen2.5-3B)を話者ごとに採点する強化学習で鍛える仕組みを、式と実験結果から読み解く。 07 ·学習手法・アライメント·無料·論文·27分で読めます QLoRA — 650億パラメータのモデルをGPU 1枚で微調整する LoRA: Low-Rank Adaptation of Large Language Models 650億パラメータのモデルは、16bitの重みだけで130GB——まだ何も学習していない状態で、である。QLoRAはこれを48GBのカード1枚に載せる。重みそのものの分布に合わせた4bit形式で凍結重みを格納し、量子化定数までもう一度量子化し、オプティマイザをCPUへページアウトする。そのうえで勾配はその4bit重みを通り抜け、小さな16bitアダプタにだけ流れ込む。 08 ·学習手法・アライメント·無料·論文·23分で読めます ゼロから学ぶLoRA — 細い行列2枚だけを学習して巨大モデルを微調整する LoRA: Low-Rank Adaptation of Large Language Models 7Bモデルの全パラメータ微調整は、実質的な中身が小さい仕事のために100 GB超のオプティマイザ状態を要求する。LoRAの主張は、モデルに必要な「変化」は低ランクだから、細い行列2枚の積 ΔW = BA として保持できる、というもの。この記事はコストの問題から出発してそれを組み立て、式を1行ずつ分解し、なぜ B が0から始まるのか、α/r は何のためなのかを説明し、実モデルでパラメータ数を数え、最後に本当に重要な3つの判断——ランク、対象レイヤ、推論時のマージ——で締める。 09 ·学習手法・アライメント·★ 会員·論文·20分で読めます 論文解説: DataFlex-RL — RLVRの「データ政策」11手法は一様サンプリングに勝てたか。12シードで測り直した結果 DataFlex-RL: An Evaluation Platform for RLVR Data Policies 「良いロールアウトだけ学習に使えば強くなる」はRLVRの常識になりつつある。DataFlex-RL (arXiv:2609.06107) は選択・再重み付け・混合適応の13構成を同じGRPOレシピ・12シードで比べ、どれも一様サンプリングとの差が95%区間でゼロをまたぐと報告した。評価ベンチマークの選び方で勝者が入れ替わる事実も含め、論文本文に沿って読み解く。 10 ·学習手法・アライメント·無料·論文·13分で読めます LoRA と全パラメータ微調整 — 何を失い、何を得るか LoRA: Low-Rank Adaptation of Large Language Models LoRAは重みの更新を ΔW=BA という細い2枚の行列に押し込む手法です。なぜそれで足りるのか、全パラメータ微調整に対して何を得て何を失うのか、rankの決め方とマージの落とし穴までを前提知識ゼロから解説します。 11 ·RAG・検索拡張·無料·10分で読めます RAG vs ファインチューニング — どちらを、いつ選ぶか LLMを賢くする二大手法を、知識の鮮度・コスト・幻覚・データ量の4軸で比べる。比喩→仕組み(式)→動く図→判断表→現場の落とし穴まで、前提知識ゼロから。 12 ·学習手法・アライメント·★ 会員·論文·19分で読めます 論文解説: It Takes Two to Match — 検索の「両側」をRLで共進化させるCoGR It Takes Two to Match: Co-Evolving Generative Retriever with Reinforcement Learning 検索の一段目を、クエリ側とアイテム側の2つのLLMに「キーワードを書かせる」ことで作り直す論文。両者を強化学習で交互に鍛えて語彙を歩み寄らせるCoGRを、前提知識ゼロから解説する。 13 ·学習手法・アライメント·★ 会員·論文·18分で読めます 論文解説: StudentSim — 「その生徒そのもの」を訓練で作る学習者シミュレータ StudentSim: Training LLM-based Student Simulators AI家庭教師を鍛えるための『練習台になる生徒』を、実際の学習記録から訓練して作る枠組み。行動忠実度(F)と指導反応性(R)という2軸の定義から、プール学習→生徒別特化の2段パイプライン、報酬モデルとしての応用までを1から解説する。 14 ·学習手法・アライメント·★ 会員·論文·18分で読めます 論文解説: StudentSim — 「その生徒そのもの」を訓練で作る学習者シミュレータ StudentSim: Training LLM-based Student Simulators AI家庭教師を鍛えるための『練習台になる生徒』を、実際の学習記録から訓練して作る枠組み。行動忠実度(F)と指導反応性(R)という2軸の定義から、プール学習→生徒別特化の2段パイプライン、報酬モデルとしての応用までを1から解説する。 15 ·学習手法・アライメント·★ 会員·論文·15分で読めます 論文解説: PaperGym — 論文1本を「採点基準つきの練習場」に変えて研究計画を学習させる PaperGym: Rubric-Centered Evolution for Research-Plan Generation 研究計画には正解がないので強化学習の「環境」が作れない。論文を4つの引き出しに分解し、問いと採点基準を別々の引き出しから作ることで、言い換えでは点が取れない練習場を20,000本ぶん自動生成した研究を、前提知識ゼロから解説する。 16 ·学習手法・アライメント·★ 会員·論文·12分で読めます 論文解説 PAWBench — 動画生成は「起こりうる未来の確率」まで当てられるのか PAWBench: How Far Are We from Probabilistically Aligned World Modeling? 動画生成モデルを世界モデルと呼ぶなら、もっともらしい1本ではなく、同じ初期状態から繰り返し生成したときの分布が正しくなければならない。PAWBench はその確率的整合を50シナリオ・11モデルで測り、どのモデルも要件を揃えられないことを示した論文です。 17 ·学習手法・アライメント·★ 会員·論文·11分で読めます 継続学習と破滅的忘却 — 学び続けるモデルの難しさ Overcoming catastrophic forgetting in neural networks 追加学習させると前にできていたことが崩れる「破滅的忘却」を、重みが共有資源であるという一点から説明する。EWC・リプレイ・LoRA差し替えという3つの処方を式と動く図で追い、それでも実務が「昔のデータを混ぜて学習し直す」に落ち着く理由までを前提知識なしで解説。 18 ·推論・高速化·★ 会員·論文·23分で読めます 論文解説: Agentic ESOpt — 逆伝播をやめて「モデルを揺らす」だけで、長丁場のLLMエージェントを鍛える Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Requirements 勾配を一切計算せず、パラメータにノイズを足した分身をG体走らせて良かった方向へ寄せるだけ——推論と同じGPUメモリ(8.41GB)で27Bの全パラメータを更新し、15手必要な数独でGRPOに12.50ポイント差をつけたNUSらの論文を、1から解説する。 19 ·学習手法・アライメント·★ 会員·論文·14分で読めます 論文解説: ABSeeker — 答えから逆算して「良い一手」を採点する、長距離検索エージェントの訓練法 ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment 何十手もWeb検索を重ねるエージェントの訓練では「最後に正解したか」しか報酬がなく、途中の良い一手も悪い一手も同じ扱いになる。答えから手がかりを逆算して全ステップを採点するABC（Answer-Backtracked Credit Assignment）と、それで訓練された4BモデルABSeekerを、論文本文に沿って1から解説する。 20 ·学習手法・アライメント·★ 会員·論文·14分で読めます 論文解説: ABSeeker — 答えから逆算して「良い一手」を採点する、長距離検索エージェントの訓練法 ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment 何十手もWeb検索を重ねるエージェントの訓練では「最後に正解したか」しか報酬がなく、途中の良い一手も悪い一手も同じ扱いになる。答えから手がかりを逆算して全ステップを採点するABC（Answer-Backtracked Credit Assignment）と、それで訓練された4BモデルABSeekerを、論文本文に沿って1から解説する。 21 ·学習手法・アライメント·無料·論文·13分で読めます Instruction Tuning と RLHF を1から解説 — 指示に従うモデルはどう作られるか Training language models to follow instructions with human feedback 事前学習しただけのモデルが指示に従わないのは能力不足ではなく目的関数のずれ。InstructGPT論文（Ouyang et al., 2022）の本文だけを根拠に、SFT→報酬モデル→強化学習の3段を式まで追い、「1.3Bが175Bを人間評価で上回った」という主張と、論文自身が認めた限界を§番号付きで読む。 22 ·論文解説·無料·論文·13分で読めます LoRA 論文解説：Low-Rank Adaptation とは？低ランクで足りる理由を原論文からわかりやすく LoRA: Low-Rank Adaptation of Large Language Models LoRA とは何か、原論文（Hu et al., 2021）を本文だけを根拠に読み直す。BAという式の意味、論文が実測した「増幅率21倍」、r=1で足りた理由、そして論文自身が残した未検証領域まで。 23 ·論文解説·無料·論文·13分で読めます LoRA 論文解説：Low-Rank Adaptation とは？低ランクで足りる理由を原論文からわかりやすく LoRA: Low-Rank Adaptation of Large Language Models LoRA とは何か、原論文（Hu et al., 2021）を本文だけを根拠に読み直す。BAという式の意味、論文が実測した「増幅率21倍」、r=1で足りた理由、そして論文自身が残した未検証領域まで。