#speech-llm

2 記事

01 ·音声系·★ 会員·論文·14分で読めます 論文解説: X-AuT — 音声エンコーダの層を「2枚ずつ」抜いて、大きい教師で埋め戻す X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation 音声LLMの音声エンコーダから層を丸ごと抜くと、デコーダが「もう終わり」と早合点して文字が消える。X-AuTは、短い試走で抜く層の組合せを選び、大きい教師からの蒸留と学生自身の文脈での監督、LoRAの3段階で埋め戻す。Qwen3-ASR-0.6Bを18層→16層にしてマクロ平均誤差5.61%→5.27%、14層でも5.75%という単一実行の数字を、式と手順で読み解く。 02 ·音声圧縮·★ 会員·論文·17分で読めます ニューラル音声コーデック — EnCodecとLLM音声の土台 High Fidelity Neural Audio Compression MP3やOpusが人手で「捨て方」を設計したのに対し、ニューラル音声コーデックは符号化そのものを学習し、音を有限個の整数トークンに変えます。ベクトル量子化から残差量子化(RVQ)、EnCodecのビットレート計算、そしてVALL-EやAudioLMのような音声LLMがなぜこの上に建つのかまでを、前提知識ゼロから解説します。