#audio

26 記事

01 ·音声系·★ 会員·論文·10分で読めます 論文解説: Dynamic Band Splitting — 音源分離の「帯の仕切り」を、混ざった音ごとに学習で動かす Learning Where to Split: Dynamic Band Splitting for Audio Source Separation 帯域分割型の音源分離は、人が決めた周波数の仕切りをどの音にも使う。DBS は帯の本数を固定したまま、仕切りの位置と幅を混ざった音ごとに予測する。境界スコア→Hard Top-K→重み付きプーリング→元の解像度へ戻す流れと、3データセットでの結果、限界までを1から読み解く。 02 ·音声系·★ 会員·論文·10分で読めます 論文解説: Dynamic Band Splitting — 音源分離の「帯の仕切り」を、混ざった音ごとに学習で動かす Learning Where to Split: Dynamic Band Splitting for Audio Source Separation 帯域分割型の音源分離は、人が決めた周波数の仕切りをどの音にも使う。DBS は帯の本数を固定したまま、仕切りの位置と幅を混ざった音ごとに予測する。境界スコア→Hard Top-K→重み付きプーリング→元の解像度へ戻す流れと、3データセットでの結果、限界までを1から読み解く。 03 ·★ 会員·論文·9分で読めます 論文解説: Realtime-Venus — 話しながら裏で仕事を回す「全二重＋非同期委譲」の対話AI Realtime-Venus: A full-duplex interaction system with asynchronous delegation 聞く・話す・裏で調べるを同じ1秒刻みの時間軸に載せ、会話を止めずに外部ツールへ仕事を委ねる9Bモデル群とハーネスの設計を、比喩と式と擬似コードで1から解説する。 04 ·★ 会員·論文·11分で読めます 論文解説: MiniMax-H3は物理世界を推論できるか — 全モダリティ生成モデルを「言われていないこと」で試す評価 Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model テキスト・画像・音声・動画をまとめて受け取れる生成モデルMiniMax-H3に、答えをプロンプトに書かずに「入力を突き合わせないと分からない課題」を517問解かせた評価論文。全体の成功率は41.97%で、音で状況を見分ける課題は27.40%にとどまった。 05 ·★ 会員·論文·11分で読めます 論文解説: MiniMax-H3は物理世界を推論できるか — 全モダリティ生成モデルを「言われていないこと」で試す評価 Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model テキスト・画像・音声・動画をまとめて受け取れる生成モデルMiniMax-H3に、答えをプロンプトに書かずに「入力を突き合わせないと分からない課題」を517問解かせた評価論文。全体の成功率は41.97%で、音で状況を見分ける課題は27.40%にとどまった。 06 ·RAG・検索拡張·★ 会員·論文·10分で読めます 論文解説: Ovis-Embedding — 文字・画像・動画・音声を1つの物差しで測る埋め込みモデル Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings テキスト・画像・動画・音声を同じベクトル空間に置く埋め込みモデル群 Ovis-Embedding を、比喩→式→動く図→コードの順で1から解説。4段階の学習手順、ベクトルを短く切っても精度を保つ工夫、論文が示していない点まで整理する。 07 ·RAG・検索拡張·★ 会員·論文·10分で読めます 論文解説: Ovis-Embedding — 文字・画像・動画・音声を1つの物差しで測る埋め込みモデル Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings テキスト・画像・動画・音声を同じベクトル空間に置く埋め込みモデル群 Ovis-Embedding を、比喩→式→動く図→コードの順で1から解説。4段階の学習手順、ベクトルを短く切っても精度を保つ工夫、論文が示していない点まで整理する。 08 ·音声系·★ 会員·論文·14分で読めます 論文解説: X-AuT — 音声エンコーダの層を「2枚ずつ」抜いて、大きい教師で埋め戻す X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation 音声LLMの音声エンコーダから層を丸ごと抜くと、デコーダが「もう終わり」と早合点して文字が消える。X-AuTは、短い試走で抜く層の組合せを選び、大きい教師からの蒸留と学生自身の文脈での監督、LoRAの3段階で埋め戻す。Qwen3-ASR-0.6Bを18層→16層にしてマクロ平均誤差5.61%→5.27%、14層でも5.75%という単一実行の数字を、式と手順で読み解く。 09 ·音声系·★ 会員·論文·12分で読めます 論文解説: AuK — 音声の「作る」と「直す」を1つのモデルに統一する AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing 音声の生成・編集・強調・分離を「自然言語の指示＋音声」という1つの入口に統一したオープンソース基盤モデルAuKを、データ設計・MMDiT骨格・rectified flow・人間選好とGRPO・4ステップ蒸留まで前提知識ゼロから解説する。 10 ·音声系·★ 会員·論文·18分で読めます 論文解説: Motion-Omni — 話しながら全身が動く、end-to-endの音声対話モデル Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue 返事の音声と全身のジェスチャーを、同じ推論の中で一度に生成する枠組み Motion-Omni を論文本文から解説。波形ではなく音声生成器の隠れ状態から動きを作る設計、そのために必要だった共適応と疑似ラベル、そして残った限界まで追う。 11 ·★ 会員·論文·21分で読めます 論文解説 The Missing Temporal Link — 台本の「時刻」を映像と音声の時間軸に載せるTemporal Context Routing The Missing Temporal Link: Temporal Context Routing for Script-Driven Audio-Video Generation 映像と音声は互いに同期しているのに、台本の指定時刻からは2人そろってずれる — この見落とされた3本目の時間軸を、クロスアテンションのロジットに足す1本の式だけで埋めたTCRを、原論文の式と実験値に沿って1から解説する。 12 ·エージェント·★ 会員·論文·15分で読めます 論文解説: SecOPD — トークン1個ずつ採点して、適応的プロンプトインジェクションを1桁下げる SecOPD: Mitigating Adaptive Prompt Injections by On-Policy Distillation 防御用に微調整したLLMも、適応的なプロンプトインジェクションにはほぼ100%破られてきた。原因は「出力全体に1つの点数」しか与えない訓練にある。注入前のきれいな入力を見た教師にトークン単位で採点させるSecOPDを、前提知識ゼロから解説する。 13 ·★ 会員·論文·19分で読めます 論文解説: DreamX-Creator — 音と映像を「同時に」作る7Bモデルと、2Kへの1ステップ仕上げ DreamX-Creator: Democratizing Native Audio-Video Generation at 2K Resolution 音声と映像を1つの生成過程で同時に denoise する7Bモデルの論文を、前提知識ゼロから解説。ゲート付き交差注意・モダリティ別の強化学習・1ステップ2K仕上げの3点と、著者自身が置いている重い留保まで読む。 14 ·音声系·★ 会員·論文·21分で読めます 論文解説: VoiceMem — 音声対話に「左脳と右脳」の記憶を、遅延ゼロで VoiceMem: Streaming Dual-Brain Memory for Real-Time Interaction リアルタイム音声対話に記憶を持たせるVoiceMemを1から解説。事実を扱う「左脳」と人柄・感情を扱う「右脳」を並列に置き、VADが待つ無音の中に検索を隠すことで、top-5という極小の予算のまま精度を上げる仕組みを読み解く。 15 ·無料·論文·14分で読めます 論文解説: TLive-Omni — ライブ配信を「見て・聞いて・何分何秒かまで答える」オムニモーダルモデル TLive-Omni: An Omni-Modal Understanding Model for E-Commerce Live Streaming ECライブ配信に特化したオムニモーダル理解モデルTLive-Omniを、前提知識ゼロから解説。時刻つきで映像と音を隣に置くPer-vGrid、3段階SFT、思考の跡ではなく答えの忠実さに報酬を出すFaithful-RFTまでを、論文の数値だけを根拠に読み解く。 16 ·無料·論文·19分で読めます 論文解説: EchoWM — 音の鳴る「入れる世界」を、カメラの意図ひとつで動かす EchoWM: Open and Enterable Omnimodal World Models 参照画像と「どう動きたいか」を渡すと、720pの映像と環境音・音楽・セリフを同時に生成し続ける世界モデル EchoWM を論文本文から解説。一人称も三人称も『カメラの意図』という1つの入力に統一する設計、データセット全体で1つに揃えた並進スケール、長時間生成を支えるシンク＋FIFOキャッシュまでを追う。 17 ·音声系·無料·論文·18分で読めます 音の表現 — メルスペクトログラムとトークン化 Robust Speech Recognition via Large-Scale Weak Supervision 音声モデルが波形をそのまま食べない理由から出発し、短時間フーリエ変換 → メル目盛り → 対数 → 離散トークンという変換の連鎖を前提知識ゼロで解説。窓長のトレードオフ、MFCCがDCTを捨てた事情、音響トークンと意味トークンの違い、そして設定を1つ間違えるだけで音が壊れる現場の落とし穴まで。 18 ·音声圧縮·★ 会員·論文·14分で読めます Opusはなぜ最強か — 現代音声コーデックの設計 Definition of the Opus Audio Codec 話し声用と音楽用に分かれていた音声コーデックを、SILKとCELTという2つのエンジンを1本のビットストリームに束ねて統合したのがOpusです。線形予測とMDCTの役割分担、帯域エネルギーを守るgain-shape量子化、遅延の内訳、そしてWebRTCの必須コーデックになった技術的・制度的な理由を前提知識ゼロから解説します。 19 ·音声圧縮·無料·12分で読めます MP3と心理音響 — 「聞こえない音」の科学 MP3が捨てているのは「無い音」ではなく「有るのに聞こえない音」です。最小可聴閾・臨界帯域・マスキングの広がりという耳の穴を測る心理音響モデルを式まで降りて解説し、SMRからビット割り当て、MP3エンコーダの二重ループとビットリザーバまでつなげます。 20 ·エージェント·★ 会員·論文·15分で読めます 論文解説: OmniScientist — 生データを直接「見る」AI科学者。36ケースを1つのエンジンで走らせる OmniScientist: An Omni-Modal Omni-Discipline AI Scientist 研究の全工程を自動化しても、AIが見ているのが「誰かが作った要約表」だけなら、たどり着ける発見は最初から限られる。生の波形・画像・3D点群を研究の全期間で直接観測させ、検問をPythonのコードで強制する OmniScientist を、36ケースの結果と地震波データの21.7%という発見まで論文本文から解説。 21 ·音声系·★ 会員·論文·13分で読めます 論文解説: SwanTale — 参照音声なしで「言葉から声をデザインする」統合音声・オーディオ生成 SwanTale: Unified Multi-Speaker Speech and Audio Generation for Instruct and Zero-Shot Tasks ByteDanceのSwanTaleは、参照音声から声を写すzero-shot TTSと、自然言語キャプションだけで声・環境音・効果音まで一体生成するinstructタスクを1つのモデルで実現した。7000万件のキャプションデータ基盤SwanData-CaptionからUnified MoE、GRPO後訓練まで、論文本文に沿って読み解く。 22 ·音声系·★ 会員·論文·11分で読めます 論文解説: Interpretable MEG Decoding of Perceived Speech — 脳磁図から「聞いた音声」を当てるAIの中身を、脳地図として読む Interpretable MEG Decoding of Perceived Speech: Cortical Sources and the Stimulus Features That Drive Retrieval 脳磁図（MEG）3秒分から、その人が聞いていた音声を1005候補中39.75%で言い当てる——しかも学習済みの重みを大脳皮質の「どこ」と「どんなリズム」に翻訳でき、遮蔽実験で「何を手がかりにしたか」まで特定できるデコーダの論文を、1から解説する。 23 ·無料·論文·12分で読めます 論文解説: AURORA-LM — テキストを連続潜在空間で生成する拡散言語モデル、「圧縮せずに学び切る」という選択 AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling テキストを離散トークンではなく連続潜在空間で生成する拡散言語モデルAURORA-LMを論文本文から解説。潜在を圧縮して拡散を楽にする従来路線を捨て、幅1024の復元可能な潜在をそのまま、低ランク入力・高ノイズ校正・自己軌道一貫性で学び切る設計を追う。 24 ·音声圧縮·無料·10分で読めます 音声圧縮を1から — 聴こえない音を捨てる技術 MP3はなぜ1/10以下のサイズで「同じように」聴こえるのか。聴覚マスキング→MDCT→ビット割り当ての順で音声コーデックの原理を前提知識ゼロから解説し、MP3/AAC/Opusの使い分けまでつなげる。 25 ·音声圧縮·無料·10分で読めます 音声圧縮を1から — 聴こえない音を捨てる技術 MP3はなぜ1/10以下のサイズで「同じように」聴こえるのか。聴覚マスキング→MDCT→ビット割り当ての順で音声コーデックの原理を前提知識ゼロから解説し、MP3/AAC/Opusの使い分けまでつなげる。 26 ·音声系·無料·論文·9分で読めます 論文解説: Whisperはなぜ頑健なのか — 大規模弱教師あり学習 Robust Speech Recognition via Large-Scale Weak Supervision Whisper原論文（Radford et al., 2022）を本文だけを根拠に読む。波形からログメルスペクトログラムへ、そしてencoder-decoderで直接テキストを出す設計。68万時間という規模が「ファインチューニングなしで頑健」をどう生んだのか、論文が実際に測った数字と、論文自身が認めた限界まで。