#qwen3-asr

1 記事

01 ·音声系·★ 会員·論文·14分で読めます 論文解説: X-AuT — 音声エンコーダの層を「2枚ずつ」抜いて、大きい教師で埋め戻す X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation 音声LLMの音声エンコーダから層を丸ごと抜くと、デコーダが「もう終わり」と早合点して文字が消える。X-AuTは、短い試走で抜く層の組合せを選び、大きい教師からの蒸留と学生自身の文脈での監督、LoRAの3段階で埋め戻す。Qwen3-ASR-0.6Bを18層→16層にしてマクロ平均誤差5.61%→5.27%、14層でも5.75%という単一実行の数字を、式と手順で読み解く。