用語集 › mixture-of-lora
GLOSSARY
mixture-of-lora
複数のLoRAを混ぜて使う方式。MoEのLoRA版
1本の論文題名に登場
定義
複数のLoRAアダプタを用意し、入力ごとにルータがどれをどの重みで使うかを決める方式。専門家混合（MoE）の考え方をLoRAへ持ち込んだもので、タスクや領域ごとの適応を一つのベースモデル上で切り替えられる。全パラメータを持つ専門家を並べるMoEと違い、追加される重みが小さく学習も配布も軽いのが利点。
論文題名での読み方
LoRAの専門家混合
この語が出てくる解説
- 論文解説: Macaron-V1 — 凍結ベース×LoRA混合で「出荷後も育つ」エージェントモデルを作るMacaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA