論文解説: Whisperはなぜ頑健なのか — 大規模弱教師あり学習

Whisper原論文（Radford et al., 2022）を本文だけを根拠に読む。波形からログメルスペクトログラムへ、そしてencoder-decoderで直接テキストを出す設計。68万時間という規模が「ファインチューニングなしで頑健」をどう生んだのか、論文が実際に測った数字と、論文自身が認めた限界まで。

Robust Speech Recognition via Large-Scale Weak Supervision

目標は「箱から出してすぐ動く」こと

ラベルなし音声から表現を学ぶ非教師あり事前学習は音声認識を前進させましたが、弱点があると論文は言います。エンコーダは良い表現を学ぶのに、それを使える出力へ写す同等に高品質なデコーダがないため、タスクを解くにはデータセットごとのファインチューニングが要る（§1）。

そのファインチューニングが危険を持ち込みます。論文が引く画像分野の例では、ImageNetでファインチューニングすると物体分類精度が9.2%上がったのに、同じ物体を扱う他の7データセットでは平均精度が改善しませんでした（§1）。目標はこうなります——配備先ごとにデコーダを調整しなくても、広い環境で確実に動くこと。

68万時間という数字の位置

複数データセットでの教師あり事前学習が頑健性を上げること自体は既知でした。問題は量です。論文が引くSpeechStewは既存7データセットを混ぜて計5,140時間、品質要件を緩めた研究でも10,000〜30,000時間。非教師あり側は1,000,000時間に達している（§1）。

Whisperはこの差を桁で埋めます。弱教師ありを680,000時間のラベル付き音声へ拡大しました。うち117,000時間が英語以外の96言語、125,000時間が「X→英語」の翻訳データです（Abstract、§1）。

入力: 波形からログメルスペクトログラムへ

音声はすべて16,000 Hzへリサンプリングされ、25ミリ秒の窓を10ミリ秒ずつずらしながら80チャネルの対数振幅メルスペクトログラムが計算されます。正規化は、事前学習データ全体でおおよそ平均0、値が $-1$ から $1$ に収まるようスケールする方式です（§2.2）。

（この段落は論文の主張ではなく一般的な背景です。短時間フーリエ変換は「短い窓をずらしながら、その区間の周波数成分の強さを測る」操作で、結果は時間×周波数の2次元マップになります。メル尺度は周波数軸を人の聴覚の分解能に合わせて圧縮した目盛りです。）

モデルが最初に見るのは波形ではなく、時間×80チャネルの2次元マップです。

モデル: 既製のencoder-decoder Transformer

論文は、モデル改良と結果が混ざるのを避けるため既製のアーキテクチャを意図的に選んだと明言します。encoder-decoder Transformerを採った理由は「スケールすることが十分に検証されているから」（§2.2）。自己注意の上に新しい工夫はありません。

エンコーダはまずフィルタ幅3の畳み込み2層（活性化はGELU、2層目のストライドは2）を通り、時間方向が半分になります。その出力に正弦波の位置埋め込みを足してTransformerブロックへ。デコーダ側は学習される位置埋め込みと、入力側と出力側で結ばれたトークン表現を使う（位置エンコーディングの2方式が1モデル内で使い分けられているわけです）。

トークナイザはGPT-2と同じバイトレベルBPEですが、多言語モデルでは語彙サイズを保ったまま語彙を作り直しています。GPT-2の語彙は英語専用で、他言語では過剰に細切れになるためです。モデルは Tiny の39Mから Large の1550Mまで5種類（4層・幅384から32層・幅1280まで、§2.2、表1）。