#lora

22 記事

01 ·学習手法・アライメント·★ 会員·論文·8分で読めます 論文解説: Transformers Stop Thinking Too Early — 3行で止まる参照追跡を、1層のランク8 LoRAが50行へ伸ばす Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It 事前学習済みLLMは文脈内の変数参照を2〜3行しかたどれない。全重みを凍結したまま初期の1層にランク8のLoRA（約6.5万パラメータ）を足すと、Qwen3-8Bは24行の鎖で15.5%→99%になる。中間層で走る「リレー」と、効く層の限界を論文本文に沿って読む。 02 ·推論・高速化·★ 会員·論文·12分で読めます 論文解説: Post-Training Leaves Behavioral Shadows on Unrelated Decisions — 無関係な「1単語」から能力が移る Post-Training Leaves Behavioral Shadows on Unrelated Decisions コードで追加学習したモデルに、コードと無関係な「2語のどちらか」を選ばせるだけで、その能力の一部を別のモデルへ移せる——Active Taskless Distillation(ATD)を、前提知識ゼロから式・対照実験・限界まで解説。 03 ·★ 会員·論文·8分で読めます 論文解説: SpatialBlock — 積み木の問題1.5万問で、視覚言語モデルの「空間の勘」を鍛える SpatialBlock: Enhancing Spatial Intelligence in LVLMs via Synthetic Block-Stacking Problem 実写の3D注釈を使わず、合成した積み木問題1万5千問だけで視覚言語モデルの空間推論を伸ばす論文を、データの作り方・2つの学習法・効いた要素と限界まで1から解説。 04 ·学習手法・アライメント·無料·論文·27分で読めます QLoRA — 650億パラメータのモデルをGPU 1枚で微調整する LoRA: Low-Rank Adaptation of Large Language Models 650億パラメータのモデルは、16bitの重みだけで130GB——まだ何も学習していない状態で、である。QLoRAはこれを48GBのカード1枚に載せる。重みそのものの分布に合わせた4bit形式で凍結重みを格納し、量子化定数までもう一度量子化し、オプティマイザをCPUへページアウトする。そのうえで勾配はその4bit重みを通り抜け、小さな16bitアダプタにだけ流れ込む。 05 ·学習手法・アライメント·無料·論文·23分で読めます ゼロから学ぶLoRA — 細い行列2枚だけを学習して巨大モデルを微調整する LoRA: Low-Rank Adaptation of Large Language Models 7Bモデルの全パラメータ微調整は、実質的な中身が小さい仕事のために100 GB超のオプティマイザ状態を要求する。LoRAの主張は、モデルに必要な「変化」は低ランクだから、細い行列2枚の積 ΔW = BA として保持できる、というもの。この記事はコストの問題から出発してそれを組み立て、式を1行ずつ分解し、なぜ B が0から始まるのか、α/r は何のためなのかを説明し、実モデルでパラメータ数を数え、最後に本当に重要な3つの判断——ランク、対象レイヤ、推論時のマージ——で締める。 06 ·音声系·★ 会員·論文·14分で読めます 論文解説: X-AuT — 音声エンコーダの層を「2枚ずつ」抜いて、大きい教師で埋め戻す X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation 音声LLMの音声エンコーダから層を丸ごと抜くと、デコーダが「もう終わり」と早合点して文字が消える。X-AuTは、短い試走で抜く層の組合せを選び、大きい教師からの蒸留と学生自身の文脈での監督、LoRAの3段階で埋め戻す。Qwen3-ASR-0.6Bを18層→16層にしてマクロ平均誤差5.61%→5.27%、14層でも5.75%という単一実行の数字を、式と手順で読み解く。 07 ·★ 会員·論文·18分で読めます 論文解説: Reason Through the Latent! — 「潜在状態に画像情報がある」と「答えがそれを使っている」は別問題 Reason Through the Latent! Making Latent Visual Reasoning Necessary 潜在視覚推論の手法は、潜在状態を壊しても答えがほぼ変わらない＝「使われていない」ことがある。CVRR (arXiv:2609.06746) は画像を読み込んだ後の質問状態から再帰を始め、復号前に画像への抜け道をすべて塞ぐことで、潜在計算を答えに「必要な」経路にしながら性能を保った。因果介入で裏を取った論文を本文だけを根拠に解説する。 08 ·★ 会員·論文·24分で読めます 論文解説: Miles v0.1 — 「本番で回るポストトレーニング基盤」を解剖する Miles v0.1: Production-Level Post-Training 巨大MoEをエージェント的RLで後追い学習させるための全部入りシステムMilesを、論文本文から解説。生成側と学習側の「数値のズレ」をどう潰すか、744Bモデルを64GPUで回した実測はどうだったかまで。 09 ·★ 会員·論文·12分で読めます 論文解説 Marigold V2 — 画像編集モデルを、32GB GPU 1枚で最強の深度推定器に変える Marigold V2: Revisiting Diffusion Transformers for Monocular Depth Estimation 画像編集用の拡散トランスフォーマ(Qwen-Image-Edit)を、QLoRAと2つの新しい損失だけで最先端の単眼深度推定器に作り替えた論文を、正規化・1ステップ推論・iREPA・SinkLossの順に1から解説します。 10 ·学習手法・アライメント·無料·論文·13分で読めます LoRA と全パラメータ微調整 — 何を失い、何を得るか LoRA: Low-Rank Adaptation of Large Language Models LoRAは重みの更新を ΔW=BA という細い2枚の行列に押し込む手法です。なぜそれで足りるのか、全パラメータ微調整に対して何を得て何を失うのか、rankの決め方とマージの落とし穴までを前提知識ゼロから解説します。 11 ·RAG・検索拡張·無料·10分で読めます RAG vs ファインチューニング — どちらを、いつ選ぶか LLMを賢くする二大手法を、知識の鮮度・コスト・幻覚・データ量の4軸で比べる。比喩→仕組み(式)→動く図→判断表→現場の落とし穴まで、前提知識ゼロから。 12 ·推論・高速化·★ 会員·論文·14分で読めます 論文解説: Compile by Training — 自然言語の仕様を「手元で動く関数」にコンパイルする Compile by Training: Turning Natural-Language Specifications into Local Neural Functions 「メールを緊急か後回しかに分けて」——そんな曖昧な仕様を、約1分の学習でローカル実行できる小さな関数に変える手法。論文 Compile by Training を、比喩→仕組み→式→実測値の順で1から解説します。 13 ·学習手法・アライメント·★ 会員·論文·18分で読めます 論文解説: StudentSim — 「その生徒そのもの」を訓練で作る学習者シミュレータ StudentSim: Training LLM-based Student Simulators AI家庭教師を鍛えるための『練習台になる生徒』を、実際の学習記録から訓練して作る枠組み。行動忠実度(F)と指導反応性(R)という2軸の定義から、プール学習→生徒別特化の2段パイプライン、報酬モデルとしての応用までを1から解説する。 14 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説: Normalized Low-Rank Adaptation — LoRAの「入口行列」を正規化するだけで効く理由 Normalized Low-Rank Adaptation LoRAのダウン射影行列Aを「ランク方向に単位長へそろえる」だけで、収束・安定性・忘却耐性が改善する。原題 Normalized Low-Rank Adaptation (NoRA) を、隠れた前処理行列という視点から1から解説する。 15 ·時系列データ系·★ 会員·論文·18分で読めます H3-World 論文解説：言語理解を「世界の操作」に変える手法とは H3-World: Turning Language Understanding into World Control H3-World とは、33Bの動画生成モデルを、専用のアクション機構を足さずに「操作できる世界モデル」へ変える手法。行動を文に変換し、動画潜在の時間区間に結びつけ、注意のルーティングで混線を止める。動かすのは全パラメータの0.199%だけ。 16 ·エージェント·★ 会員·論文·19分で読めます 論文解説: Code World Model — コーディングエージェントを「世界の脳」にする Code World Model: Coding Agent as World Brain 世界の「進み方」をコードに、世界の「見え方」を動画モデルに分担させる枠組み Code World Model を、前提知識ゼロから解説。粗い条件映像=プロキシという接続部の設計と、その限界まで読み解く。 17 ·生成モデル·無料·論文·16分で読めます 画像生成の実務地図 — SD・ControlNet・LoRA適用 LoRA: Low-Rank Adaptation of Large Language Models 画像生成をこれから触る人のための一枚地図。潜在拡散の4つの箱、プロンプトが効く場所、ControlNetによる構図の固定、LoRAでの微調整、そして見落とすと事故になるライセンスまでを、前提知識ゼロから順に繋ぎます。 18 ·学習手法・アライメント·★ 会員·論文·11分で読めます 継続学習と破滅的忘却 — 学び続けるモデルの難しさ Overcoming catastrophic forgetting in neural networks 追加学習させると前にできていたことが崩れる「破滅的忘却」を、重みが共有資源であるという一点から説明する。EWC・リプレイ・LoRA差し替えという3つの処方を式と動く図で追い、それでも実務が「昔のデータを混ぜて学習し直す」に落ち着く理由までを前提知識なしで解説。 19 ·線形代数·無料·10分で読めます LoRAとRAGを支える線形代数 — 固有値・低ランク・ベクトル検索を、動かして掴む 行列は空間の変形、固有ベクトルは変形しても向きが変わらない方向、SVDはその一般化、内積は「似ている」の定義。LoRAのΔW=BAとRAGのベクトル検索がどちらも同じ線形代数の上に建っていることを、4つの動く図と数式で確かめる。読むだけでなく、スライダーとドラッグで手を動かすためのコラム。 20 ·線形代数·★ 会員·論文·13分で読めます 特異値分解と低ランク近似 — LoRAの数学的な下地 LoRA: Low-Rank Adaptation of Large Language Models 特異値分解（SVD）を「回す・伸ばす・回す」の比喩から出発し、行列がrank-1の層の重ね合わせであること、実データでは少数の層だけで十分なこと（低ランク近似）までを前提知識ゼロから解説。LoRAが巨大モデルを0.4%のパラメータで微調整できる理由の、数学的な土台を作る。 21 ·エージェント·無料·論文·10分で読めます 論文解説: Macaron-V1 — 凍結ベース×LoRA混合で「出荷後も育つ」エージェントモデルを作る Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA Mind Labのオープンエージェントモデル群Macaron-V1を論文本文から解説。凍結した744Bベースに4枚のLoRA専門家を重ねてターンごとに1枚選ぶMixture-of-LoRAと、モデル＋ハーネスのペアを世代ごとに鍛える再帰的自己改善ループの中身を追う。 22 ·論文解説·無料·論文·13分で読めます LoRA 論文解説：Low-Rank Adaptation とは？低ランクで足りる理由を原論文からわかりやすく LoRA: Low-Rank Adaptation of Large Language Models LoRA とは何か、原論文（Hu et al., 2021）を本文だけを根拠に読み直す。BAという式の意味、論文が実測した「増幅率21倍」、r=1で足りた理由、そして論文自身が残した未検証領域まで。