#residual-stream

1 記事

01 ·論文解説·★ 会員·論文·16分で読めます 論文解説: Refusal in Language Models Is Mediated by a Single Direction — 「断る」はモデル内部の1本の方向だった Refusal in Language Models Is Mediated by a Single Direction チャットモデルが有害な依頼を断る振る舞いは、残差ストリームの中の1本の方向で仲介されている。有害・無害の指示での活性化の差分平均でその方向を見つけ、引けば拒否が消え、足せば無害な依頼でも拒否が出ることを13モデルで示した論文を、解釈可能性の観点から読み解く。