学生版 社会人版
JA EN

#lora

12 記事

01 ·RAG・検索拡張·無料·10分で読めます RAG vs ファインチューニング — どちらを、いつ選ぶか LLMを賢くする二大手法を、知識の鮮度・コスト・幻覚・データ量の4軸で比べる。比喩→仕組み(式)→動く図→判断表→現場の落とし穴まで、前提知識ゼロから。 02 ·推論・高速化·★ 会員·論文·14分で読めます 論文解説: Compile by Training — 自然言語の仕様を「手元で動く関数」にコンパイルする Compile by Training: Turning Natural-Language Specifications into Local Neural Functions 「メールを緊急か後回しかに分けて」——そんな曖昧な仕様を、約1分の学習でローカル実行できる小さな関数に変える手法。論文 Compile by Training を、比喩→仕組み→式→実測値の順で1から解説します。 03 ·学習手法・アライメント·★ 会員·論文·18分で読めます 論文解説: StudentSim — 「その生徒そのもの」を訓練で作る学習者シミュレータ StudentSim: Training LLM-based Student Simulators AI家庭教師を鍛えるための『練習台になる生徒』を、実際の学習記録から訓練して作る枠組み。行動忠実度(F)と指導反応性(R)という2軸の定義から、プール学習→生徒別特化の2段パイプライン、報酬モデルとしての応用までを1から解説する。 04 ·推論・高速化·★ 会員·論文·15分で読めます 論文解説: Normalized Low-Rank Adaptation — LoRAの「入口行列」を正規化するだけで効く理由 Normalized Low-Rank Adaptation LoRAのダウン射影行列Aを「ランク方向に単位長へそろえる」だけで、収束・安定性・忘却耐性が改善する。原題 Normalized Low-Rank Adaptation (NoRA) を、隠れた前処理行列という視点から1から解説する。 05 ·時系列データ系·★ 会員·論文·18分で読めます 論文解説 H3-World — 言語理解を「世界の操作」に変える H3-World: Turning Language Understanding into World Control 33Bの動画生成モデルを、専用のアクション機構を足さずに「操作できる世界モデル」へ変える手法。行動を文に変換し、動画潜在の時間区間に結びつけ、注意のルーティングで混線を止める。動かすのは全パラメータの0.199%だけ。 06 ·エージェント·★ 会員·論文·19分で読めます 論文解説: Code World Model — コーディングエージェントを「世界の脳」にする Code World Model: Coding Agent as World Brain 世界の「進み方」をコードに、世界の「見え方」を動画モデルに分担させる枠組み Code World Model を、前提知識ゼロから解説。粗い条件映像=プロキシという接続部の設計と、その限界まで読み解く。 07 ·生成モデル·無料·論文·16分で読めます 画像生成の実務地図 — SD・ControlNet・LoRA適用 LoRA: Low-Rank Adaptation of Large Language Models 画像生成をこれから触る人のための一枚地図。潜在拡散の4つの箱、プロンプトが効く場所、ControlNetによる構図の固定、LoRAでの微調整、そして見落とすと事故になるライセンスまでを、前提知識ゼロから順に繋ぎます。 08 ·学習手法・アライメント·★ 会員·論文·11分で読めます 継続学習と破滅的忘却 — 学び続けるモデルの難しさ Overcoming catastrophic forgetting in neural networks 追加学習させると前にできていたことが崩れる「破滅的忘却」を、重みが共有資源であるという一点から説明する。EWC・リプレイ・LoRA差し替えという3つの処方を式と動く図で追い、それでも実務が「昔のデータを混ぜて学習し直す」に落ち着く理由までを前提知識なしで解説。 09 ·線形代数·無料·10分で読めます LoRAとRAGを支える線形代数 — 固有値・低ランク・ベクトル検索を、動かして掴む 行列は空間の変形、固有ベクトルは変形しても向きが変わらない方向、SVDはその一般化、内積は「似ている」の定義。LoRAのΔW=BAとRAGのベクトル検索がどちらも同じ線形代数の上に建っていることを、4つの動く図と数式で確かめる。読むだけでなく、スライダーとドラッグで手を動かすためのコラム。 10 ·線形代数·★ 会員·論文·13分で読めます 特異値分解と低ランク近似 — LoRAの数学的な下地 LoRA: Low-Rank Adaptation of Large Language Models 特異値分解（SVD）を「回す・伸ばす・回す」の比喩から出発し、行列がrank-1の層の重ね合わせであること、実データでは少数の層だけで十分なこと（低ランク近似）までを前提知識ゼロから解説。LoRAが巨大モデルを0.4%のパラメータで微調整できる理由の、数学的な土台を作る。 11 ·エージェント·★ 会員·論文·10分で読めます 論文解説: Macaron-V1 — 凍結ベース×LoRA混合で「出荷後も育つ」エージェントモデルを作る Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA Mind Labのオープンエージェントモデル群Macaron-V1を論文本文から解説。凍結した744Bベースに4枚のLoRA専門家を重ねてターンごとに1枚選ぶMixture-of-LoRAと、モデル＋ハーネスのペアを世代ごとに鍛える再帰的自己改善ループの中身を追う。 12 ·論文解説·★ 会員·論文·13分で読めます 論文解説 LoRA: Low-Rank Adaptation of Large Language Models — なぜ低ランクで足りるのか LoRA: Low-Rank Adaptation of Large Language Models LoRA原論文（Hu et al., 2021）を本文だけを根拠に読み直す。BAという式の意味、論文が実測した「増幅率21倍」、r=1で足りた理由、そして論文自身が残した未検証領域まで。