direct

定義

中間段階を挟まずに目的へ至ることを表す語で、この分野では DPO（Direct Preference Optimization）の D として最もよく目にする。報酬モデルを別に学習して強化学習を回す従来の RLHF に対し、選好データから方策を直接最適化することを指す。工程が減るぶん実装も計算も軽くなるのが売り。

論文題名での読み方

DPOのDは直接

この語が出てくる解説

• DPOとその後 — RLHFを単純化する系譜Direct Preference Optimization: Your Language Model is Secretly a Reward Model