#pruning

2 記事

01 ·音声系·★ 会員·論文·14分で読めます 論文解説: X-AuT — 音声エンコーダの層を「2枚ずつ」抜いて、大きい教師で埋め戻す X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation 音声LLMの音声エンコーダから層を丸ごと抜くと、デコーダが「もう終わり」と早合点して文字が消える。X-AuTは、短い試走で抜く層の組合せを選び、大きい教師からの蒸留と学生自身の文脈での監督、LoRAの3段階で埋め戻す。Qwen3-ASR-0.6Bを18層→16層にしてマクロ平均誤差5.61%→5.27%、14層でも5.75%という単一実行の数字を、式と手順で読み解く。 02 ·蒸留と圧縮·★ 会員·論文·13分で読めます 蒸留・量子化・枝刈りの使い分け — 小さくする3つの道 Distilling the Knowledge in a Neural Network モデルを小さくする道は3本あります。数値の目盛りを粗くする量子化、重みそのものを間引く枝刈り、小さいモデルに作り直す蒸留。圧縮率・精度・実装コストの三軸で正面から比べ、「訓練を伴うものを先に、量子化を最後に」という組み合わせ順序の理由まで、前提知識ゼロから。