#peft

6 記事

01 ·学習手法・アライメント·★ 会員·論文·8分で読めます 論文解説: Transformers Stop Thinking Too Early — 3行で止まる参照追跡を、1層のランク8 LoRAが50行へ伸ばす Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It 事前学習済みLLMは文脈内の変数参照を2〜3行しかたどれない。全重みを凍結したまま初期の1層にランク8のLoRA（約6.5万パラメータ）を足すと、Qwen3-8Bは24行の鎖で15.5%→99%になる。中間層で走る「リレー」と、効く層の限界を論文本文に沿って読む。 02 ·学習手法・アライメント·無料·論文·27分で読めます QLoRA — 650億パラメータのモデルをGPU 1枚で微調整する LoRA: Low-Rank Adaptation of Large Language Models 650億パラメータのモデルは、16bitの重みだけで130GB——まだ何も学習していない状態で、である。QLoRAはこれを48GBのカード1枚に載せる。重みそのものの分布に合わせた4bit形式で凍結重みを格納し、量子化定数までもう一度量子化し、オプティマイザをCPUへページアウトする。そのうえで勾配はその4bit重みを通り抜け、小さな16bitアダプタにだけ流れ込む。 03 ·学習手法・アライメント·無料·論文·23分で読めます ゼロから学ぶLoRA — 細い行列2枚だけを学習して巨大モデルを微調整する LoRA: Low-Rank Adaptation of Large Language Models 7Bモデルの全パラメータ微調整は、実質的な中身が小さい仕事のために100 GB超のオプティマイザ状態を要求する。LoRAの主張は、モデルに必要な「変化」は低ランクだから、細い行列2枚の積 ΔW = BA として保持できる、というもの。この記事はコストの問題から出発してそれを組み立て、式を1行ずつ分解し、なぜ B が0から始まるのか、α/r は何のためなのかを説明し、実モデルでパラメータ数を数え、最後に本当に重要な3つの判断——ランク、対象レイヤ、推論時のマージ——で締める。 04 ·時系列データ系·★ 会員·論文·18分で読めます 論文解説 MetroLLM-Bench — 駅の券売機を LLM に任せると何点取れるか。2.6GBの4Bモデルが GPT-5.6 に並んだ理由と、27Bで微調整が逆効果になった理由 MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes 交通系券売機の「判断部分」を言語モデルに置き換えたら何点取れるかを測る955ケースのベンチマーク。4BのQLoRA生徒モデルがTier 1でGPT-5.6を上回った結果と、モデルが大きいほどPEFTの効きが減って27Bでマイナスに転じる「容量の天井」を、論文本文だけを根拠に読み解く。 05 ·学習手法・アライメント·無料·論文·13分で読めます LoRA と全パラメータ微調整 — 何を失い、何を得るか LoRA: Low-Rank Adaptation of Large Language Models LoRAは重みの更新を ΔW=BA という細い2枚の行列に押し込む手法です。なぜそれで足りるのか、全パラメータ微調整に対して何を得て何を失うのか、rankの決め方とマージの落とし穴までを前提知識ゼロから解説します。 06 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説: Normalized Low-Rank Adaptation — LoRAの「入口行列」を正規化するだけで効く理由 Normalized Low-Rank Adaptation LoRAのダウン射影行列Aを「ランク方向に単位長へそろえる」だけで、収束・安定性・忘却耐性が改善する。原題 Normalized Low-Rank Adaptation (NoRA) を、隠れた前処理行列という視点から1から解説する。