学生版 社会人版
JA EN

#audio

18 記事

01 ·音声系·★ 会員·論文·18分で読めます 論文解説: Motion-Omni — 話しながら全身が動く、end-to-endの音声対話モデル Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue 返事の音声と全身のジェスチャーを、同じ推論の中で一度に生成する枠組み Motion-Omni を論文本文から解説。波形ではなく音声生成器の隠れ状態から動きを作る設計、そのために必要だった共適応と疑似ラベル、そして残った限界まで追う。 02 ·音声系·★ 会員·論文·12分で読めます 論文解説: Last Translation Benchmark — 「モデルが壊れる例」と検証ルールで翻訳を測り直す Last Translation Benchmark 機械翻訳のベンチマークは飽和し、自動指標も人手評価も信用しきれない。その袋小路に対し『先端モデルが壊れる例』を人手で集め、例ごとに手書きの検証ルールを添える——原題 Last Translation Benchmark を前提知識ゼロから読み解く。 03 ·★ 会員·論文·21分で読めます 論文解説 The Missing Temporal Link — 台本の「時刻」を映像と音声の時間軸に載せるTemporal Context Routing The Missing Temporal Link: Temporal Context Routing for Script-Driven Audio-Video Generation 映像と音声は互いに同期しているのに、台本の指定時刻からは2人そろってずれる — この見落とされた3本目の時間軸を、クロスアテンションのロジットに足す1本の式だけで埋めたTCRを、原論文の式と実験値に沿って1から解説する。 04 ·エージェント·★ 会員·論文·15分で読めます 論文解説: SecOPD — トークン1個ずつ採点して、適応的プロンプトインジェクションを1桁下げる SecOPD: Mitigating Adaptive Prompt Injections by On-Policy Distillation 防御用に微調整したLLMも、適応的なプロンプトインジェクションにはほぼ100%破られてきた。原因は「出力全体に1つの点数」しか与えない訓練にある。注入前のきれいな入力を見た教師にトークン単位で採点させるSecOPDを、前提知識ゼロから解説する。 05 ·★ 会員·論文·19分で読めます 論文解説: DreamX-Creator — 音と映像を「同時に」作る7Bモデルと、2Kへの1ステップ仕上げ DreamX-Creator: Democratizing Native Audio-Video Generation at 2K Resolution 音声と映像を1つの生成過程で同時に denoise する7Bモデルの論文を、前提知識ゼロから解説。ゲート付き交差注意・モダリティ別の強化学習・1ステップ2K仕上げの3点と、著者自身が置いている重い留保まで読む。 06 ·音声系·★ 会員·論文·21分で読めます 論文解説: VoiceMem — 音声対話に「左脳と右脳」の記憶を、遅延ゼロで VoiceMem: Streaming Dual-Brain Memory for Real-Time Interaction リアルタイム音声対話に記憶を持たせるVoiceMemを1から解説。事実を扱う「左脳」と人柄・感情を扱う「右脳」を並列に置き、VADが待つ無音の中に検索を隠すことで、top-5という極小の予算のまま精度を上げる仕組みを読み解く。 07 ·★ 会員·論文·14分で読めます 論文解説: TLive-Omni — ライブ配信を「見て・聞いて・何分何秒かまで答える」オムニモーダルモデル TLive-Omni: An Omni-Modal Understanding Model for E-Commerce Live Streaming ECライブ配信に特化したオムニモーダル理解モデルTLive-Omniを、前提知識ゼロから解説。時刻つきで映像と音を隣に置くPer-vGrid、3段階SFT、思考の跡ではなく答えの忠実さに報酬を出すFaithful-RFTまでを、論文の数値だけを根拠に読み解く。 08 ·★ 会員·論文·19分で読めます 論文解説: EchoWM — 音の鳴る「入れる世界」を、カメラの意図ひとつで動かす EchoWM: Open and Enterable Omnimodal World Models 参照画像と「どう動きたいか」を渡すと、720pの映像と環境音・音楽・セリフを同時に生成し続ける世界モデル EchoWM を論文本文から解説。一人称も三人称も『カメラの意図』という1つの入力に統一する設計、データセット全体で1つに揃えた並進スケール、長時間生成を支えるシンク＋FIFOキャッシュまでを追う。 09 ·音声系·★ 会員·論文·17分で読めます 音の表現 — メルスペクトログラムとトークン化 Robust Speech Recognition via Large-Scale Weak Supervision 音声モデルが波形をそのまま食べない理由から出発し、短時間フーリエ変換 → メル目盛り → 対数 → 離散トークンという変換の連鎖を前提知識ゼロで解説。窓長のトレードオフ、MFCCがDCTを捨てた事情、音響トークンと意味トークンの違い、そして設定を1つ間違えるだけで音が壊れる現場の落とし穴まで。 10 ·音声圧縮·★ 会員·論文·14分で読めます Opusはなぜ最強か — 現代音声コーデックの設計 Definition of the Opus Audio Codec 話し声用と音楽用に分かれていた音声コーデックを、SILKとCELTという2つのエンジンを1本のビットストリームに束ねて統合したのがOpusです。線形予測とMDCTの役割分担、帯域エネルギーを守るgain-shape量子化、遅延の内訳、そしてWebRTCの必須コーデックになった技術的・制度的な理由を前提知識ゼロから解説します。 11 ·音声圧縮·★ 会員·12分で読めます MP3と心理音響 — 「聞こえない音」の科学 MP3が捨てているのは「無い音」ではなく「有るのに聞こえない音」です。最小可聴閾・臨界帯域・マスキングの広がりという耳の穴を測る心理音響モデルを式まで降りて解説し、SMRからビット割り当て、MP3エンコーダの二重ループとビットリザーバまでつなげます。 12 ·エージェント·★ 会員·論文·15分で読めます 論文解説: OmniScientist — 生データを直接「見る」AI科学者。36ケースを1つのエンジンで走らせる OmniScientist: An Omni-Modal Omni-Discipline AI Scientist 研究の全工程を自動化しても、AIが見ているのが「誰かが作った要約表」だけなら、たどり着ける発見は最初から限られる。生の波形・画像・3D点群を研究の全期間で直接観測させ、検問をPythonのコードで強制する OmniScientist を、36ケースの結果と地震波データの21.7%という発見まで論文本文から解説。 13 ·音声系·★ 会員·論文·13分で読めます 論文解説: SwanTale — 参照音声なしで「言葉から声をデザインする」統合音声・オーディオ生成 SwanTale: Unified Multi-Speaker Speech and Audio Generation for Instruct and Zero-Shot Tasks ByteDanceのSwanTaleは、参照音声から声を写すzero-shot TTSと、自然言語キャプションだけで声・環境音・効果音まで一体生成するinstructタスクを1つのモデルで実現した。7000万件のキャプションデータ基盤SwanData-CaptionからUnified MoE、GRPO後訓練まで、論文本文に沿って読み解く。 14 ·音声系·★ 会員·論文·11分で読めます 論文解説: Interpretable MEG Decoding of Perceived Speech — 脳磁図から「聞いた音声」を当てるAIの中身を、脳地図として読む Interpretable MEG Decoding of Perceived Speech: Cortical Sources and the Stimulus Features That Drive Retrieval 脳磁図（MEG）3秒分から、その人が聞いていた音声を1005候補中39.75%で言い当てる——しかも学習済みの重みを大脳皮質の「どこ」と「どんなリズム」に翻訳でき、遮蔽実験で「何を手がかりにしたか」まで特定できるデコーダの論文を、1から解説する。 15 ·★ 会員·論文·12分で読めます 論文解説: AURORA-LM — テキストを連続潜在空間で生成する拡散言語モデル、「圧縮せずに学び切る」という選択 AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling テキストを離散トークンではなく連続潜在空間で生成する拡散言語モデルAURORA-LMを論文本文から解説。潜在を圧縮して拡散を楽にする従来路線を捨て、幅1024の復元可能な潜在をそのまま、低ランク入力・高ノイズ校正・自己軌道一貫性で学び切る設計を追う。 16 ·音声圧縮·★ 会員·10分で読めます 音声圧縮を1から — 聴こえない音を捨てる技術 MP3はなぜ1/10以下のサイズで「同じように」聴こえるのか。聴覚マスキング→MDCT→ビット割り当ての順で音声コーデックの原理を前提知識ゼロから解説し、MP3/AAC/Opusの使い分けまでつなげる。 17 ·音声圧縮·★ 会員·10分で読めます 音声圧縮を1から — 聴こえない音を捨てる技術 MP3はなぜ1/10以下のサイズで「同じように」聴こえるのか。聴覚マスキング→MDCT→ビット割り当ての順で音声コーデックの原理を前提知識ゼロから解説し、MP3/AAC/Opusの使い分けまでつなげる。 18 ·音声系·★ 会員·論文·9分で読めます 論文解説: Whisperはなぜ頑健なのか — 大規模弱教師あり学習 Robust Speech Recognition via Large-Scale Weak Supervision Whisper原論文（Radford et al., 2022）を本文だけを根拠に読む。波形からログメルスペクトログラムへ、そしてencoder-decoderで直接テキストを出す設計。68万時間という規模が「ファインチューニングなしで頑健」をどう生んだのか、論文が実際に測った数字と、論文自身が認めた限界まで。