位置エンコーディングを1から理解する（絶対位置からRoPEまで）

Transformerは素のままでは語順を知らない。なぜ位置情報が要るのかから始めて、sin/cosの絶対位置、学習型、そして現代LLMの標準であるRoPEまでを段階的に解説。「なぜ回転が相対位置を表せるのか」を式で示す。

Attention Is All You Need

Transformerは語順を知らない

前回の記事（Attention機構を1から理解する）で見た自己注意は、こういう式でした。

$$\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V$$

つまり「いま見ている単語の問いかけ（$Q$）が、他の各単語の見出し（$K$）とどれだけ噛み合うかを全組み合わせで採点し、その点数を合計1の割合に直して、各単語が持つ中身（$V$）を混ぜ合わせる」という式です。$\sqrt{d_k}$ は、次元数 $d_k$ が大きいほど点数が大きく振れてしまうのを抑えるための割り算にすぎません。

ここに驚くべき性質が隠れています。入力の単語を並べ替えても、出力は同じ順に並べ替わるだけなのです。

理由は単純です。入力 $X$ の行を入れ替えると $Q, K, V$ の行も同じように入れ替わり、スコア表 $QK^\top$ は行と列が同時に入れ替わり、出力も同じ並べ替えを受けます。つまり「単語 $i$ の出力」は、その単語が何番目にあったかを一切参照していません。

結果、素のTransformerにとって「犬が猫を追う」と「猫が犬を追う」は区別できません。RNNは左から順に読むので語順が構造的に入っていましたが、全単語を同時に見渡す設計と引き換えに、Transformerは語順を失いました。

比喩を使うなら、円卓で全員が同時に喋っている状態です。誰が何を言ったかはわかるけれど、発言の順序という情報がどこにもない。位置エンコーディングは、この円卓に座席番号を配る仕事です。

素朴な案がなぜ失敗するのか

一番素朴な方法は、単語ベクトルに位置の番号 $m$ をそのまま足すことです。これは3つの理由で破綻します。

1. 値が青天井。埋め込みの各成分がだいたい $-1 \sim 1$ の世界に、1000という数字が入ると単語の意味が押し流されます。
2. 正規化しても駄目。$m/L$（文長で割る）なら $0 \sim 1$ に収まりますが、今度は文の長さによって同じ位置3が違う値になる。位置3は何単語の文だろうと位置3であってほしい。
3. 1つの数では足りない。意味は数百次元で表すのに位置だけ1次元では、モデルが位置を使い分ける余地がありません。

欲しいのは「有界で、位置ごとに一意で、文長に依存しない、多次元の」表現です。

絶対位置 その1: sin/cosの目盛り

Vaswani らの原論文が採用したのが、三角関数を使う方法です。位置 $pos$、次元 $i$ に対して次のベクトルを作り、単語の埋め込みに足します。

$$PE_{(pos,\,2i)} = \sin\!\left(\frac{pos}{10000^{2i/d}}\right), \qquad PE_{(pos,\,2i+1)} = \cos\!\left(\frac{pos}{10000^{2i/d}}\right)$$

つまり「何番目の単語か（$pos$）を $10000^{2i/d}$ で割ってから角度として読み、その sin と cos を並べる」ということ。$i$ は何組目の目盛りかを表し、割る数が大きい成分ほど、位置が1つ進んだときの値の動きが小さくなります。

$d$ は埋め込みの次元数です。式は物々しいですが、やっていることは周波数の違う時計の針を何本も並べることだけです。

次元のペアを1本の針だと思ってください。$i=0$ のペアが一番速く回る針。$i$ が大きくなるほど分母 $10000^{2i/d}$ が大きくなり、針はゆっくり回ります。原論文の通り、波長は $2\pi$ から $10000 \cdot 2\pi$ までの等比数列を成します。

これは二進カウンタの連続版だと考えると腑に落ちます。二進数では最下位ビットが毎回反転し、次は2回に1回、その次は4回に1回反転する。全ビットを読めば数が一意に決まる。sin/cos版も同じで、速い針と遅い針を全部読めば位置が一意に決まる。各成分は $-1 \sim 1$ に収まるので、素朴案の破綻理由1と2も同時に解決しています。

そして原論文は、この関数を選んだ理由をこう書いています。「任意の固定オフセット $k$ に対して、$PE_{pos+k}$ は $PE_{pos}$ の線形関数として表せるため、モデルが相対位置による注意を学習しやすいと仮説を立てた」。

この一文が、後のRoPEの種になります。実際、1本の針（周波数 $\omega$ のペア）だけを取り出すと、

$$\begin{pmatrix} \sin\omega(pos+k) \\ \cos\omega(pos+k) \end{pmatrix} = \begin{pmatrix} \cos\omega k & \sin\omega k \\ -\sin\omega k & \cos\omega k \end{pmatrix} \begin{pmatrix} \sin\omega\,pos \\ \cos\omega\,pos \end{pmatrix}$$

左端の縦2つ組は位置 $pos+k$ での針の位置、右端の縦2つ組はいまの位置 $pos$ での針の位置、その間に挟まった行列は「角度 $\omega k$ だけ回す」という操作です。つまり、いくつ先へ進むか（$k$）さえ決まれば回す量も決まり、元がどの位置だったかには一切よらないということ。

$k$ 個先に進むこと ＝ 決まった角度だけ回すこと、という関係です。回転が出てきました。

絶対位置 その2: 位置ベクトルを学習する

もっと単純な方法もあります。位置ごとに1本ずつベクトルを用意して、他の重みと一緒に学習させる。位置0用のベクトル、位置1用のベクトル……という単なる参照表です。BERTやGPT-2はこの方式でした。

原論文はこの2つを比較し、性能はほぼ同等だったと報告しています（Table 3, 行E）。それでも sin/cos を選んだ理由として挙げているのが、学習時より長い系列への外挿ができるかもしれない、という点です。

学習型の弱点はここに直結します。表にない位置は存在しない。最大512位置で学習したモデルに513番目の単語を入れても、参照するベクトルがありません。設定した最大長がそのままモデルの上限になります。

発想の転換: 足すのをやめて「回す」

ここまでの方式には共通の性質があります。位置情報を単語ベクトルに足していること。入力の時点で「意味」と「位置」を1本のベクトルに混ぜ込み、あとは注意機構がほどいてくれることを期待する設計です。

RoPE（Rotary Position Embedding、Su らの RoFormer）は違います。足さない。QueryとKeyを、位置に比例した角度だけ回転させる。

2次元で考えます。位置 $m$ にあるQueryベクトル $q$ を、角度 $m\theta$ だけ回します。

$$\tilde{q}_m = R(m\theta)\, q, \qquad R(\phi) = \begin{pmatrix} \cos\phi & -\sin\phi \\ \sin\phi & \cos\phi \end{pmatrix}$$

要するに「位置 $m$ にある単語の問いかけベクトル $q$ を、$m$ に比例した角度だけくるりと回す」だけの操作です。$R(\phi)$ は平面上のベクトルを角度 $\phi$ 回す行列で、向きは変えても長さは変えません。

位置 $n$ のKeyも同様に $\tilde{k}_n = R(n\theta)\, k$ とします。ここで注意機構が計算するもの——2つの内積を取ってみます。

$$\tilde{q}_m^\top \tilde{k}_n = \left(R(m\theta)q\right)^\top R(n\theta)k = q^\top R(m\theta)^\top R(n\theta) k = q^\top R\big((n-m)\theta\big)\, k$$

つまり「位置 $m$ で回した問いかけと、位置 $n$ で回した見出しの噛み合い具合」は、「回す前の $q$ と $k$ を、$n-m$ 単語ぶんの角度だけずらして測ったもの」とまったく同じ値になる、ということです。

回転行列の2つの性質、$R(\phi)^\top = R(-\phi)$ と $R(a)R(b) = R(a+b)$ を使っただけです。

結果を見てください。左辺は絶対位置 $m$ と $n$ で作ったのに、右辺には $n-m$ しか残っていません。絶対位置で回したのに、注意スコアには相対位置だけが効く。これがRoPEの核心です。

直感的には、内積は「2本のベクトルの角度差」を測る量（AIのための線形代数のコサイン類似度そのもの）なので、両方を同じ規則で回せば絶対量は打ち消し合い、差だけが残ります。時計の長針と短針の角度差が、時計ごと傾けても変わらないのと同じです。

自分の手で確かめてください。片方の矢印だけ回すと内積は動きます。しかし2本を同じ角度だけ回すと内積は変わりません。RoPEの仕掛けはこの不変性そのものです。

実際の埋め込みは2次元ではないので、$d$ 次元を $d/2$ 組のペアに分け、ペアごとに違う角度 $\theta_i = 10000^{-2i/d}$ で回します。sin/cos方式と同じ周波数の梯子を、足す代わりに回すのに使っている、と見ると系譜がつながります。

Su らはさらに、この構成では内積の上界が相対距離とともに減衰する（遠い単語ほど影響が小さくなりやすい）という性質も示しています。

コードで書くRoPE

import numpy as np

def rope(x, base=10000.0):
    """x: (seq_len, d)、d は偶数。Q と K に適用する（V には適用しない）"""
    seq_len, d = x.shape
    pos = np.arange(seq_len)[:, None]        # (seq, 1)
    i = np.arange(d // 2)[None, :]           # (1, d/2)
    theta = base ** (-2.0 * i / d)           # 周波数の梯子（sin/cos方式と同じ）
    ang = pos * theta                        # (seq, d/2) 各ペアの回転角

    cos, sin = np.cos(ang), np.sin(ang)
    xe, xo = x[:, 0::2], x[:, 1::2]          # ペアの片割れずつ
    out = np.empty_like(x)
    out[:, 0::2] = xe * cos - xo * sin       # 2次元回転そのもの
    out[:, 1::2] = xe * sin + xo * cos
    return out

# 使い方: スコア計算の直前で Q と K を回す
Q, K, V = rope(X @ W_q), rope(X @ W_k), X @ W_v
scores = Q @ K.T / np.sqrt(Q.shape[-1])      # 相対位置だけが効く

上の等式から、位置(2, 5)の組と位置(100, 103)の組は厳密に同じスコアになります（浮動小数の誤差を除く）。距離が同じなら文のどこにあっても同じ。実装上の要点は3つ。

• 回すのはQとKだけ、Vは回さない。位置を効かせたいのは「どこを見るか」の部分であって、「何を運ぶか」ではないからです。
• 各層で適用する。sin/cos方式は入力に1回足すだけでしたが、RoPEは注意計算のたびにQ・Kを回します。位置情報が層を通るうちに薄れません。
• ノルムが変わらない。回転は直交変換なので長さを保ちます。位置を入れてもスケールが暴れない、地味に効く利点です。

相対位置の別解: バイアスを足す系

RoPEだけが答えではありません。歴史的には Shaw らが、KeyとValueに学習済みの相対位置ベクトルを加える方式を先に提案し、T5はヘッドごとに学習したスカラーを注意スコアに足す軽量版を採用しました。さらに割り切ったALiBi（Press ら）は位置埋め込みを持たず、注意スコアから距離に比例したペナルティ $m \cdot |i-j|$ を引くだけで、短い系列で学習して長い系列に外挿できることを示しています。

長いコンテキストへどう伸ばすか

RoPEにも上限はあります。4Kトークンで学習したモデルに32Kを入れると、学習時に見たことのない大きな回転角が現れて性能が崩れます。対処法は2系統です。

• Position Interpolation（Chen ら）: 位置番号を $L/L'$ 倍して縮め、学習済みの角度範囲に押し込む。位置8000を位置1000として扱うイメージで、少量のファインチューニングで長文対応できると報告されています。
• base の変更: $\theta_i$ の底 10000 を大きくすると針全体がゆっくり回り、同様に角度が範囲内へ収まります。コミュニティ発の手法で、YaRN などで整理されました。

つまり「コンテキスト長を伸ばした」という話の中身は、たいてい回転角の刻み方を調整したという話です。

現場ではこう使う

1. どれを使うか迷ったらRoPE。 2026年時点で、LLaMA系・Qwen・Mistral・Gemmaなど主要なオープンLLMはRoPEを採用しています。新しくデコーダ型を組むならRoPEが既定値。学習型の絶対位置に出会うのは、たいていエンコーダ型（BERT系）を触るときです。

2. 実装の「ペアの取り方」が2流派ある。 原論文の式は隣り合う次元をペアにします（0-1, 2-3, ...）が、多くの実装は前半と後半をペアにします（0-(d/2), 1-(d/2+1), ...）。次元の並べ替えを揃えれば数学的には等価ですが、混在させると静かに壊れます。重みを別実装へ移植して「なんとなく出力が変」なら、まずここを疑ってください。

3. cos/sin は float32 で計算する。 位置が数万になると角度が大きくなり、bfloat16のまま三角関数を通すと精度が落ちます。多くの実装が位置テーブルだけfloat32で持つのはこのためです。

4. KVキャッシュには回転後のKが入っている。 格納済みのKは「その位置で回された状態」なので、キャッシュの一部を捨てて詰め直す最適化をすると、残ったトークンの位置が実質ずれます。長文推論の自作最適化で事故りやすい点です。

5. 「context 128K対応」の読み方。 その長さで一から学習したのか、後から伸ばしたのかで実力は変わります。伸ばした場合は公称長の後半で精度が落ちることがあるので、公称値を信じず自分のタスクで実測してください。

まとめ

• 自己注意は語順に対して等変。位置情報を外から与えないと、単語の集合しか見えない
• sin/cos は周波数の違う針で位置を符号化する。「$k$ 個先＝一定角度の回転」を最初から内包していた
• 学習型は単純だが、表にない位置へは出られない
• RoPEはQ・Kを位置に比例して回す。内積を取ると絶対位置が打ち消し合い、相対位置だけが残る
• 事故ポイントはペアの取り方の流派・float32での角度計算・KVキャッシュとの相互作用

位置エンコーディングが最初に現れた場所を読みたくなったら、原論文の解説（Attention Is All You Need を読む）へ。3.5節の短い記述が、この記事全体の出発点です。