Instruction Tuning と RLHF を1から解説 — 指示に従うモデルはどう作られるか

事前学習しただけのモデルが指示に従わないのは能力不足ではなく目的関数のずれ。InstructGPT論文（Ouyang et al., 2022）の本文だけを根拠に、SFT→報酬モデル→強化学習の3段を式まで追い、「1.3Bが175Bを人間評価で上回った」という主張と、論文自身が認めた限界を§番号付きで読む。

Training language models to follow instructions with human feedback

「大きくすれば従う」わけではない

InstructGPT 論文の最初の一文は、身も蓋もない断言から始まります。言語モデルを大きくすること自体は、ユーザーの意図に従うのが上手くなることを意味しない（Abstract）。大きなモデルは、事実でないこと・有害なこと・単に役に立たないことを平気で出力する。それは能力の問題ではなく、目的関数のずれだ、というのが論文の診断です。

事前学習が最大化しているのは「インターネット上のページの次のトークンを当てる」ことであって、「ユーザーの指示に、助けになるように、安全に従う」ことではありません。論文はこの状態を misaligned（整合していない） と呼びます（§1）。

では何に合わせるのか。論文は helpful（課題解決を助ける）、honest（捏造も誤導もしない）、harmless（害を起こさない）の3つを挙げます（§1、§3.6）。ただし honest は測れません。「モデルの信念」を外から覗けない以上、代わりに truthfulness（世界についての言明が真であるか） を測る、と正直に書かれています（§3.6）。

第1段: 実演を集めて教師あり微調整する（SFT）

やることは単純です。ラベラーに「このプロンプトにはこう答えてほしい」という実演を書いてもらい、GPT-3 をその実演で教師あり微調整する（§3.1 Step 1）。

規模は意外に小さく、SFT の訓練プロンプトは約13,000件（ラベラー執筆11,295＋API顧客1,430）です（§3.2、付録A.3 表6）。用途の内訳も特徴的で、分類とQAは全体の約18%にすぎず、自由生成とブレストが約57%を占めます（表1、§4.1）。公開NLPデータセットが得意な形とは分布がそもそも違うわけです。

学習設定には、教科書に反する観察がひとつ。SFT は16エポック回しますが、検証損失は1エポックで過学習する。それでもエポックを重ねると報酬モデルのスコアも人間の評価も上がり続けた、と報告されています（§3.5）。

第2段: 人間の順位付けから報酬モデルを作る

実演だけでは足りません。「良い答え」を毎回書き下ろすのは高くつくうえ、どちらがより良いかを選ぶほうが、良い答えを書くよりずっと簡単だからです。

そこで、同じプロンプトに対するモデル出力の集合をラベラーに順位付けしてもらいます。論文は1プロンプトあたり $K=4$ から $K=9$ 個の応答を提示し、そこから $\binom{K}{2}$ 通りの2択比較を作りました（§3.5）。RM の訓練プロンプトは33,000件（表6）。

報酬モデル自体は、SFT モデルの最後の unembedding 層を外し、プロンプトと応答を受け取ってスカラー1つを返す形にします（§3.5）。損失は次の式です。

左から順に読むと、こう言っています。人間が優劣をつけた応答のペアを取り、勝ったほうの点数から負けたほうの点数を引き、その差を確率に潰し、その確率が低いときほどモデルを罰する。つまりこの式は、点数の絶対値をまったく気にしていません。効いているのは2つの点数の差だけで、両方に同じ数を足しても損失は1ミリも動かない——「80点と60点」と「20点と0点」は、この式にとって同じ状態です。

記号を1つずつ。$x$ はプロンプト、$y_w$ は人間が選んだほう、$y_l$ は選ばれなかったほう、$r_\theta$ が報酬モデルの出力するスカラー、$\sigma$ はシグモイド関数です。式(1)が言っているのは「勝った側のスコアが負けた側より高くなるようにせよ」だけ。シグモイドは点数差を「人間がそちらを選ぶ確率」に変換する装置で、差が0なら0.5、差が大きいほど1に近づきます。

実装上の注意が2つ明記されています。ひとつは、$\binom{K}{2}$ 個の比較をバラバラにシャッフルして1件ずつ学習させると1エポックで過学習すること。同一プロンプト由来の比較は強く相関しているためで、論文は1プロンプト分の全比較をまとめて1つのバッチ要素として扱うことで解決しました。順伝播が $K$ 回で済むので計算も軽くなります（§3.5 脚注3）。