GLOSSARY

orpo

ORPO。微調整と選好学習を1段で行う整合手法

1本の論文題名に登場

定義

Odds Ratio Preference Optimization の略で、指示チューニングと選好整合を一つの損失にまとめる手法。好ましい応答の対数尤度に、好ましくない応答との「オッズ比」に基づく罰則項を足し、SFT と整合の二段階を一段で済ませる。DPO と違い、凍結した参照モデルを別に保持しなくてよいのが実装上の利点。

論文題名での読み方

固有名。参照モデル不要