#qlora

2 記事

01 ·学習手法・アライメント·無料·論文·27分で読めます QLoRA — 650億パラメータのモデルをGPU 1枚で微調整する LoRA: Low-Rank Adaptation of Large Language Models 650億パラメータのモデルは、16bitの重みだけで130GB——まだ何も学習していない状態で、である。QLoRAはこれを48GBのカード1枚に載せる。重みそのものの分布に合わせた4bit形式で凍結重みを格納し、量子化定数までもう一度量子化し、オプティマイザをCPUへページアウトする。そのうえで勾配はその4bit重みを通り抜け、小さな16bitアダプタにだけ流れ込む。 02 ·時系列データ系·★ 会員·論文·18分で読めます 論文解説 MetroLLM-Bench — 駅の券売機を LLM に任せると何点取れるか。2.6GBの4Bモデルが GPT-5.6 に並んだ理由と、27Bで微調整が逆効果になった理由 MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes 交通系券売機の「判断部分」を言語モデルに置き換えたら何点取れるかを測る955ケースのベンチマーク。4BのQLoRA生徒モデルがTier 1でGPT-5.6を上回った結果と、モデルが大きいほどPEFTの効きが減って27Bでマイナスに転じる「容量の天井」を、論文本文だけを根拠に読み解く。