アライメント概説 — RLHFからConstitutional AIまで

アライメントとは何と何を揃える作業なのかを、目的・仕様・代理の3層に分けて整理する。RLHFもDPOもConstitutional AIも「報酬 − 参照モデルから離れた罰」という同じ骨格を解いていること、代理を押し切ると必ず報酬ハッキングが出ること、無害さを強めた分だけ有用さが削れる取引の構造を、式と実装の落とし穴まで含めて解説する。

Training language models to follow instructions with human feedback

「アライメント」は、何と何を揃えるのか

「望みを叶えてやろう」と言われて「金持ちにしてくれ」と頼んだら、親族の遺産が転がり込んできた——魔人の話が怖いのは、魔人に悪意があるからではありません。口に出した願いと、本当に望んでいたことがズレているからです。字義通りに、全力で叶える相手ほど、そのズレは事故になります。

言語モデルも同じです。事前学習が最大化しているのは「Web上の文章の次のトークンを当てる」ことであって、「利用者の意図に沿って、助けになるように、害なく答える」ことではありません。Instruction Tuning と RLHFで読んだInstructGPT論文はこれを misaligned（整合していない）と呼び、揃える対象に helpful / honest / harmless（助けになる・偽らない・害を成さない） を挙げました。

1つだけ用語を厳しく。アライメントはモデルを賢くする作業ではありません。扱うのは能力（何ができるか）ではなく傾向（何をしがちか）です。

ズレは3つの層で起きる

一口に「ズレ」と言っても、発生する場所が3つあります。ここを混ぜると議論が噛み合いません。

1. 目的のズレ。 次トークン予測と「指示に従う」は別の目的です。実演による教師あり微調整（SFT）と、選好からの学習で埋めます。

2. 仕様のズレ。 そもそも「役に立つ」「害がない」を、誰もが同意する形で書き下せません。ラベラー同士でも判断は割れます。だから仕様は例で示す（選好データ）か原則で示す（後述の憲法）しかない。損失関数として直接書けないのが、この層の本質です。

3. 代理のズレ。 学習ループの中でモデルが押し上げているのは、人間の満足ではなく報酬モデルの出す数字です。報酬モデルは有限のデータから学んだ人間の近似にすぎません。ここが報酬ハッキングの温床です。

直感: 代理指標を押し切ると、本物から離れる

グッドハートの法則という言い方があります。測定値が目標になった瞬間、それは良い測定ではなくなる。テストの点で学力を測るのは悪くないが、点だけを最大化させれば、暗記と過去問の反射だけが伸びます。

報酬モデルはまさにこの「テスト」です。最初は代理指標を上げれば本物も一緒に上がる。問題は最適化を強く続けたときで、報酬モデルのスコアはなお伸びるのに、人間の評価は途中で頭打ちになり、その先では下がります。この折り返しは報酬モデルの過最適化（overoptimization）として測定されており、報酬モデルが小さいほど早く折り返します。

骨格: どの手法も「報酬 − 離れすぎた罰」を解いている

RLHF、DPO、Constitutional AI——手法の名前は増え続けますが、解こうとしている問題はほぼ共通です。

読み下せば「もらえる報酬の平均をできるだけ大きくせよ。ただし訓練前のモデルから離れた分だけ $\beta$ 倍の罰金を払え」です。$x$ はプロンプト、$y$ は応答、$\pi_\theta$ が学習中のモデル、$\pi_{\mathrm{ref}}$ が訓練前に固定した参照モデル、$r$ が報酬、$D_{\mathrm{KL}}$ は2つの分布のズレを測る量、$\beta$ は「どれだけ冒険してよいか」のつまみです。

つまり式(1)は、良い答えを出すほど得をし、元の自分から遠い答えを出すほど損をするという一本の損得勘定です。$\beta$ はその2つの為替レート。大きくすれば「前の自分から離れるな」、小さくすれば「点さえ取れれば何をしてもいい」ということになります。