論文解説: Refusal in Language Models Is Mediated by a Single Direction — 「断る」はモデル内部の1本の方向だった

チャットモデルが有害な依頼を断る振る舞いは、残差ストリームの中の1本の方向で仲介されている。有害・無害の指示での活性化の差分平均でその方向を見つけ、引けば拒否が消え、足せば無害な依頼でも拒否が出ることを13モデルで示した論文を、解釈可能性の観点から読み解く。

Refusal in Language Models Is Mediated by a Single Direction

この論文は何をしたのか

解説する論文は "Refusal in Language Models Is Mediated by a Single Direction"（Andy Arditi, Oscar Obeso ほか計7名、arXiv:2406.11717）です。

abstract の要約です。対話用の言語モデルは、指示に従うことと安全であることの両方を目指して追加学習され、無害な依頼には応じ、有害な依頼は断るようになります。この「拒否」の内部の仕組みはよく分かっていませんでした。著者らは最大72Bまでの公開チャットモデル13種で、拒否が1次元の部分空間に仲介されていることを示します。各モデルに、残差ストリームの活性化から消すと有害な指示を断れなくなり、足すと無害な指示まで断るようになる1本の方向がありました。この知見から他の能力をほぼ損なわずに拒否を外すホワイトボックスの手法を提案し、敵対的サフィックス（攻撃用にプロンプト末尾へ付ける文字列）がこの方向の伝わりを抑えていることも解析しています。著者らは、現在の安全性の追加学習がもろいこと、内部の理解が振る舞いの制御に実用的に使えることを結論にしています。

この記事の軸は解釈可能性です。公開モデルの安全機構を外す手順は書きません。

比喩: 何千個のスイッチと1本のつまみ

何千個ものスイッチが並ぶ建物で、部屋の明るさを決めているのが「ある決まった組み合わせ方」1つだけだったとします。それに沿って回るつまみを作れば、明るさを上げ下げできます。この論文は、チャットモデルの「断るかどうか」にもそういうつまみがあると言っています。しかもそれは1個のニューロン（スイッチ）ではなく、多数にまたがる方向です。

前提: 残差ストリームと方向

Transformer では、トークンごとに1本のベクトルが層から層へ受け渡され、各層は注意機構と MLP の出力をそこへ足し込みます。論文はこれを残差ストリームと呼び、位置 $i$ のトークンが層 $l$ に入るときのベクトルを $\mathbf{x}_i^{(l)}$ と書きます（§2.1）。論文の土台は、言語モデルは概念を活性化空間の線形の方向として表すという、広く支持された仮説です（§1）。

方向 $\hat{\mathbf{r}}$（長さ1のベクトル）が決まれば、活性化 $\mathbf{x}$ が「その方向にどれだけ向いているか」は内積 $\hat{\mathbf{r}}^\top\mathbf{x}$ という1つの数で測れます。これを射影の大きさと呼びます。内積の基礎はAIのための線形代数にあります。

仕組み1: 差分平均で方向を見つける

方向の見つけ方は素朴です（§2.3）。有害な指示と無害な指示をそれぞれモデルに通し、活性化の平均を取ります。

言い換えると、$\boldsymbol{\mu}$ は有害な指示を読んだときの活性化の平均地点、$\boldsymbol{\nu}$ は無害な指示での平均地点です（$\mathcal{D}$ は指示の集まり、$\mathbf{t}$ はその1件）。

つまり、無害の平均地点から有害の平均地点へ向かう矢印です。向きは2群の違う方向を、長さは平均の離れ具合を表します。これを差分平均と呼びます。平均を取るのが効く理由は単純で、個々の指示に固有の癖はあちこちの向きを向いているので、たくさん足すと打ち消し合います。2群のあいだで一貫して違う部分だけが、差として残ります。

学習用は有害・無害とも128件、検証用は32件ずつです（§2.2）。層と、指示の後ろに続くテンプレートのトークン位置ごとに候補ができ、検証データで「消すと拒否が外れ、足すと拒否が出て、無害な入力の振る舞いはあまり変えない」1本を選びます（§2.3、§C）。

動く図: 射影の大きさを体感する

片方を拒否の方向 $\hat{\mathbf{r}}$、もう片方を活性化 $\mathbf{x}$ と見立てて回してください。内積が、その活性化が拒否の方向にどれだけ乗っているかの目盛りです。直交させると0になります。