preference

定義

複数の出力のうち人(またはモデル)がどちらを良いと判断したかという比較情報。絶対的な点数より付けやすく評価者間で一貫するため、RLHF や DPO はこれを学習信号にする。ただし理由や正解は含まないので、長さや体裁を好む偏りもそのまま学習される。

論文題名での読み方

DPO/RLHFの学習信号

この語が出てくる解説

• DPOとその後 — RLHFを単純化する系譜Direct Preference Optimization: Your Language Model is Secretly a Reward Model