論文解説: Steering Geometry — LLMの「操縦ベクトル」は人間の価値観の地図を映しているか
推論時にLLMの内部へ『向き』を足して振る舞いを変えるアクティベーション・ステアリング。その向きが人間の価値観の円環構造をなぞっているかを、20価値・約2.6万件のベンチマークで検証した論文を、前提知識ゼロから解説します。
要点
- 本論文は、シュワルツの基本的価値理論を物差しに、操縦ベクトルが意味のある構造を持つかを20価値・約2.6万件のベンチマークで検証した。
- CAAは、価値に沿った答えと中立な答えの活性の差を平均して矢印vを作り、推論時にα倍して足すだけで、重みは更新しない。
- 分布駆動型は理論どおりの価値の配置を再現し(Spearman ρ 最大0.51)、振る舞い中心型はほとんど相関しなかった。
- 配置の忠実さはモデルが大きいほど高く、指示チューニング後は下がる。
- 配置に忠実な手法ほど、ある価値を強めると相性のよい価値も上がり、対立する価値は下がる。
Steering Geometry: Validating Human Value Geometry in LLM Steering Space
一次資料 — この記事の根拠
論文の発表 2026-09-05→この解説の公開 2026-09-241か月後
Steering Geometry: Validating Human Value Geometry in LLM Steering SpaceMohammad Mahdi Abootorabi, Armin Saghafian, Ali Bazshoushtari ほか · 2026-09-05 · v1arXiv:2609.06289論文ページ·PDF原文の要旨(Abstract)を読む
As large language models (LLMs) are increasingly deployed in alignment-sensitive contexts, activation steering has emerged as a lightweight, inference-time alternative to fine-tuning methods (e.g., RLHF, DPO) for behavioral control. However, existing work typically validates steering on isolated behaviors, leaving it unclear whether steering vectors encode coherent semantic structure or merely exploit behavior-specific shortcuts. We investigate whether the latent geometry of LLM steering vectors reflects theory-specified structure in human values and morality. Using Schwartz's Theory of Basic Human Values as our primary fine-grained framework, we introduce a 26K-sample benchmark covering 20 human values and analyze distribution-driven methods (e.g., CAA, SphericalSteer, ODESteer) and behavior-centric approaches (e.g., COLD-Steer, BiPO) across diverse model families and sizes. We find that distribution-driven methods recover human value topologies aligned with theoretical predictions (Spearman $\rho$ up to 0.51, $p < 10^{-13}$). In contrast, behavior-centric methods achieve comparable steering performance but show little correlation with the expected value geometry. Geometric fidelity improves with model scale but drops after instruction tuning. Finally, better geometric alignment also leads to more human-consistent transfer across values: steering one value correctly lifts compatible values and suppresses opposing ones. Code and data are available at: https://github.com/DeepRCL/Steering_Geometry.
この論文は何を確かめたのか
今回読むのは "Steering Geometry: Validating Human Value Geometry in LLM Steering Space"(Abootorabi ほか、arXiv:2609.06289、EMNLP 2026 Main 採択)です。
要旨はこうです。再学習(RLHFやDPO)の代わりに、推論時に内部表現をずらして振る舞いを制御する「アクティベーション・ステアリング」が軽量な手段として注目されている。だが既存研究は1つの振る舞いだけで効果を確かめることが多く、操縦ベクトルが意味のある構造を持つのか、その振る舞いにだけ効く近道を突いているだけなのかが分からない。著者らは心理学の「シュワルツの基本的価値理論」を物差しに、20価値・約2.6万件のベンチマークを作り、分布駆動型(CAA など)と振る舞い中心型(BiPO など)の手法を複数のモデルで比べた。分布駆動型は理論どおりの価値の配置を再現し(Spearman ρ 最大0.51)、振る舞い中心型は狙った価値への効き目は同程度でも、理論上の配置とほとんど相関しなかった。配置の忠実さはモデルが大きいほど高く、指示チューニング後は下がる。そして配置に忠実な手法ほど、ある価値を強めると相性のよい価値も上がり、対立する価値は下がる。
比喩: 価値観の「円卓」
シュワルツの理論では、人間の価値観は円卓に座っています(§1、付録B)。隣の席どうしは仲が良く、真向かいの席はぶつかります。「博愛」と「普遍主義」は隣、「自己決定」と「同調」は向かいです。論文は20席版を使い、隣との角度は18度ずつです。
問いは素朴です。LLMの中に「博愛」を強める矢印と「普遍主義」を強める矢印を作ったら、2本は近い向きか。「自己決定」と「同調」の矢印は反対向きか。座席表が内部に写っていれば、その操縦は価値の意味をとらえていると言えます。
直感: ステアリングは「内部の向き」を足すだけ
LLMは各層で数千次元のベクトル(残差ストリームの活性)を持ち回ります。概念はこの空間でおおむね1本の向きとして表れる、というのが線形表現仮説です(§2)。ベクトルが意味を持つ感覚は埋め込みを1から理解するで扱っています。
基本手法 CAA は、価値に沿った答えと中立な答えのペアで活性の差を平均します(付録J)。
言い換えると、「価値 に沿った答えを読んだ第 層の状態」から「中立な答えを読んだ状態」を引いて平均したものが矢印 で、推論時はそれを 倍して足すだけです。重みは更新しません。
2本の矢印の向きの近さはコサイン類似度で測ります。
2つの流派
論文は手法を、矢印を「観察」で作るか「最適化」で作るかで2つに分けます(§4.1)。
コメント
コメントにはログインが必要です