#speech

7 記事

01 ·★ 会員·論文·9分で読めます 論文解説: Realtime-Venus — 話しながら裏で仕事を回す「全二重＋非同期委譲」の対話AI Realtime-Venus: A full-duplex interaction system with asynchronous delegation 聞く・話す・裏で調べるを同じ1秒刻みの時間軸に載せ、会話を止めずに外部ツールへ仕事を委ねる9Bモデル群とハーネスの設計を、比喩と式と擬似コードで1から解説する。 02 ·音声系·★ 会員·論文·12分で読めます 論文解説: AuK — 音声の「作る」と「直す」を1つのモデルに統一する AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing 音声の生成・編集・強調・分離を「自然言語の指示＋音声」という1つの入口に統一したオープンソース基盤モデルAuKを、データ設計・MMDiT骨格・rectified flow・人間選好とGRPO・4ステップ蒸留まで前提知識ゼロから解説する。 03 ·音声系·★ 会員·論文·21分で読めます 論文解説: VoiceMem — 音声対話に「左脳と右脳」の記憶を、遅延ゼロで VoiceMem: Streaming Dual-Brain Memory for Real-Time Interaction リアルタイム音声対話に記憶を持たせるVoiceMemを1から解説。事実を扱う「左脳」と人柄・感情を扱う「右脳」を並列に置き、VADが待つ無音の中に検索を隠すことで、top-5という極小の予算のまま精度を上げる仕組みを読み解く。 04 ·音声系·無料·論文·18分で読めます 音の表現 — メルスペクトログラムとトークン化 Robust Speech Recognition via Large-Scale Weak Supervision 音声モデルが波形をそのまま食べない理由から出発し、短時間フーリエ変換 → メル目盛り → 対数 → 離散トークンという変換の連鎖を前提知識ゼロで解説。窓長のトレードオフ、MFCCがDCTを捨てた事情、音響トークンと意味トークンの違い、そして設定を1つ間違えるだけで音が壊れる現場の落とし穴まで。 05 ·音声系·無料·論文·18分で読めます 音の表現 — メルスペクトログラムとトークン化 Robust Speech Recognition via Large-Scale Weak Supervision 音声モデルが波形をそのまま食べない理由から出発し、短時間フーリエ変換 → メル目盛り → 対数 → 離散トークンという変換の連鎖を前提知識ゼロで解説。窓長のトレードオフ、MFCCがDCTを捨てた事情、音響トークンと意味トークンの違い、そして設定を1つ間違えるだけで音が壊れる現場の落とし穴まで。 06 ·音声系·無料·論文·14分で読めます 音声合成を1から — テキストから声まで WaveNet: A Generative Model for Raw Audio 数文字のテキストから、その数万倍の長さの波形をでっちあげる——それが音声合成です。素直な回帰がなぜ破綻するのか（一対多と位相）、なぜテキスト→メルスペクトログラム→波形の二段構えが定番になったのか、そして数秒の参照音声で声色が移る仕組みまでを前提知識ゼロから解説します。 07 ·音声系·無料·14分で読めます 音声認識を1から — 波形からテキストまで マイクが拾う数字の列がどうやって文字になるのかを前提知識ゼロから。スペクトログラムによる特徴抽出、アラインメント問題を解いたCTC、自己回帰デコーダのencoder-decoder、そしてWhisperまでを歴史の順に追う。