時系列にTransformerは効くのか — 論争と実務の答え

1層の線形モデルが当時の時系列Transformer群を上回った2022年の論争から、パッチ化で反撃したPatchTST、軸を転置したiTransformerまで。原因は注意機構ではなくトークンの切り方でした。それでも実務のコンペを勾配ブースティングが取り続ける理由も、データの形の違いから説明します。

Are Transformers Effective for Time Series Forecasting?

「1層の線形モデルに負けた」という事件

Transformerは言語を制圧し、画像へ渡り、音声へ広がりました。次は時系列だろう——そう考えるのは自然です。2021年から2022年にかけて、Informer、Autoformer、FEDformerといった時系列専用の亜種が次々と発表され、標準ベンチマークの記録は毎年塗り替えられていきました。

そこへ2022年、身も蓋もないタイトルの論文が出ます。"Are Transformers Effective for Time Series Forecasting?"。著者らが対抗馬に立てたのは、注意機構も層の重なりもない、入力から出力へ一発で写す線形写像1枚でした。それが標準ベンチマークの大半で、当時のTransformer系を上回ってしまった。

面白いのは、これが「深層学習の敗北」の話ではないことです。悪かったのは注意機構ではなく、時系列をTransformerに食わせるときのトークンの切り方でした。しかも正しい切り方が見つかった後ですら、実務のコンペは勾配ブースティングが取り続けている。この記事はその3段構えの話です。

なぜ「効きそう」に見えたのか

動機は筋が通っています。時系列予測の基礎で見た伝統的な弱点が、そのまま自己注意の得意分野の裏返しだからです。遠い過去に届かない——再帰型は記憶を1ステップずつ受け渡すので365ステップ前は途中で薄まるが、自己注意は距離に関係なく1回の内積でつながる。並列化できない——再帰型は前の時刻が終わるまで次へ進めないが、注意は全時点を同時に処理できる。多変量の絡み合いを人手で書けない——気温・価格・在庫・曜日のどれがどれに効くかを、注意なら学習で決められそうに思える。

反証: 線形1層で足りてしまう

DLinearは拍子抜けするほど単純です。入力を移動平均で滑らかにしてトレンド成分を取り出し、元の系列から引いた残りを季節成分とする。あとはそれぞれに、長さ $L$ の入力を長さ $T$ の出力へ写す行列を1枚ずつ掛けて足すだけ。

$x_{\text{trend}}$ は移動平均で取り出したなだらかな成分、$x_{\text{seasonal}}$ はそこから外れた振動ぶん、$W$ は $T \times L$ の重み行列です。つまり「過去 $L$ 点それぞれに定数の重みを付けて足し、未来の各点を作る」だけで、非線形性もゲートも注意もない。パラメータは $2 \times T \times L$ 個、Transformer側と桁が2〜3つ違います。

なぜこれで足りたのか。説明は3つあります。

1. 自己注意はそもそも順序を見ない。 中身は全ペアの内積と重み付き平均であって、位置符号を足す前なら入力を並べ替えても出力が並べ替わるだけです。言語ではそれで足りました。単語自体が意味を持つので、順序は補助情報だからです。ところが時系列では順序が情報のほぼ全部で、数値の集合 {12, 15, 19} に意味はなく「12→15→19と上がってきた」ことだけが意味を持つ。順序を後付けする設計は、この種のデータと相性が悪いわけです。

2. 1時点はトークンとして情報が薄すぎる。 Attention機構の本質は、QueryとKeyの内積で意味の近さを測ることでした。ところが1時点の観測値はスカラー1個です。線形射影して数十次元にしても増えたのは見かけの次元だけで、こうして作ったベクトル同士の内積は、意味の近さではなくほぼノイズを測ります。

スコアに差がつかないとどうなるか。softmaxは差を割合に変える装置なので、横並びのスコアからはほぼ一様分布が出ます。全時点を等しく混ぜる——ただの移動平均です。何層積んでも注意層が移動平均を繰り返しているなら、移動平均を明示的に持つ線形モデルに負けても不思議はありません。

3. データが3桁足りない。 標準ベンチマークの系列は長くても数万点で、言語モデルが読む兆単位とは3〜4桁違います。表現力で勝つには表現力を埋めるデータが要る。小さいデータでは、強い帰納バイアス（あらかじめ組み込まれた構造の仮定）を持つ単純なモデルが有利です。「トレンドと季節に分けて線形に足す」は、時系列に対するかなり良い仮定でした。

本当の問題は「トークンの単位」だった

思い出したいのが画像です。Vision Transformerは1ピクセルを1トークンにしませんでした。トークン数が爆発しますし、そもそも1ピクセルの値に「猫らしさ」の情報がない。16×16のパッチにまとめて初めてトークンが意味の単位になり、内積が意味を持ちました。時系列でも同じで、1時点をトークンにするのは1ピクセルをトークンにするのと同じ誤りだったのです。