#activation-steering

3 記事

01 ·論文解説·★ 会員·論文·16分で読めます 論文解説: Refusal in Language Models Is Mediated by a Single Direction — 「断る」はモデル内部の1本の方向だった Refusal in Language Models Is Mediated by a Single Direction チャットモデルが有害な依頼を断る振る舞いは、残差ストリームの中の1本の方向で仲介されている。有害・無害の指示での活性化の差分平均でその方向を見つけ、引けば拒否が消え、足せば無害な依頼でも拒否が出ることを13モデルで示した論文を、解釈可能性の観点から読み解く。 02 ·論文解説·★ 会員·論文·8分で読めます 論文解説: Persona Dosing — LLMの性格の「強さ」を点数で指定する活性化ステアリング Persona Dosing: Calibrated Activation Steering for Graded Trait Control 活性化ステアリングの係数には「どれだけ性格が出るか」という意味がない。PersonaDoseは説明文で動く共有コントローラを学習し、後から強さと点数の対応表を測って「迎合度60で」と頼める形にした。 03 ·推論・高速化·★ 会員·論文·9分で読めます 論文解説: Steering Geometry — LLMの「操縦ベクトル」は人間の価値観の地図を映しているか Steering Geometry: Validating Human Value Geometry in LLM Steering Space 推論時にLLMの内部へ『向き』を足して振る舞いを変えるアクティベーション・ステアリング。その向きが人間の価値観の円環構造をなぞっているかを、20価値・約2.6万件のベンチマークで検証した論文を、前提知識ゼロから解説します。