対称性と等変性 — 群論がネットワーク設計に効く

「ずらしても猫は猫」をネットワークの構造そのものに焼き込む考え方を、群の4条件から等変性の定義式、CNNのパラメータ共有、AlphaFoldのフレームまで一本につなぎます。対称性を課すのが逆効果になる場面も含めて。

Group Equivariant Convolutional Networks

逆さまにしても猫は猫

猫の写真を10ピクセル右にずらしても、写っているのは猫です。90度傾けても猫です。人間には当たり前ですが、ニューラルネットにとっては当たり前ではありません。画素をずらせば入力の数値の並びはまるごと別物になり、素朴な全結合層から見れば「まったく無関係な入力」です。「これは同じものだ」という知識は、どこかから与えてやる必要があります。

与え方は2つです。1つはデータで教える方法——ずらした写真・回した写真を大量に見せて、経験的に同じ答えを出させる（データ拡張）。もう1つは構造に焼き込む方法——「入力をずらしても、答えが同じようにずれるだけ」という性質を、層の形として最初から持たせてしまう。

後者を扱う言葉が群論であり、中心にある2語が不変性(invariance)と等変性(equivariance)です。CNNが画像に強い理由も、Transformerに位置符号化が要る理由も、AlphaFoldが原子座標を扱えた理由も、この一枚の地図の上に並びます。

「変わらない」と「一緒に動く」は別物

この2語をまず区別します。集合写真で考えるのが早い。

• 不変: 全員が一歩右にずれても、写っている人数は変わらない。
• 等変: 全員が一歩右にずれると、各人の顔の位置も一歩ぶん右にずれる。

人数が不変量、顔の位置が等変量です。等変は「変わらない」ではなく「予測できる形で一緒に変わる」。この違いが設計上は決定的で、途中の層は等変であるべきで、不変にすべきなのはたいてい最後だけです。

途中で不変にすると情報が消えるからです。1層目で「位置によらない特徴」に潰してしまえば、目と耳の位置関係はもう戻せません。等変なら位置の情報は保たれたまま流れ、必要になった最後の一手で潰せます。等変な層を積み、最後に不変化する——幾何を意識したネットワークは、ほぼこの一つの型でできています。

いちばん身近な不変量は内積です。2本のベクトルを両方まとめて同じ角度だけ回しても、内積は変わりません。個々の成分は全部変わるのに、組み合わせた量だけが生き残る。

群 — 「操作の集まり」に名前をつける

「ずらす」「回す」「並べ替える」に共通する構造を抜き出したものが群(group)です。定義は4行しかありません。操作の集合 $G$ が群であるとは、

1. 2つの操作を続けて行った結果も $G$ の中にある（閉じている）
2. 3つ以上つなぐとき、まとめ方を変えても結果は同じ（結合法則）
3. 「何もしない」という操作 $e$ がある（単位元）
4. どの操作にも「元に戻す」操作がある（逆元）

回転で確かめると腑に落ちます。90度回してから180度回せば270度回転（閉じている）、0度回転が「何もしない」（単位元）、90度に対して270度が「元に戻す」（逆元）。だから90度刻みの4つの回転はきちんと群を作り、$C_4$ と呼ばれます。

現場に出てくる群は、だいたい決まっています。

群そのものは抽象的な操作の集まりですが、データに作用させるには行列が要ります。要素 $g$ に行列 $\rho(g)$ を割り当て、$\rho(g)\rho(h) = \rho(gh)$ を満たすようにしたものを表現(representation)と呼びます。以降「群を作用させる」と言ったら、この行列を掛けることだと思ってください。

等変性を式で書く

写像 $f$（ネットワーク全体でも、その1層でもよい）が群 $G$ に対して等変であるとは、

$x$ は入力、$\rho_{\text{in}}(g)$ は入力側で操作 $g$ を行う行列、$\rho_{\text{out}}(g)$ は出力側で同じ $g$ を行う行列です。つまり「先に動かしてから通す」と「通してから動かす」が一致する、と言っているだけ。順番を入れ替えてよい、それだけです。