preferences

選好。どちらが好ましいかという人の判断

1本の論文題名に登場

定義

二つの出力のどちらが好ましいかという、人あるいはモデルによる比較判断のこと。絶対点数より一貫して集められるため、RLHF や DPO ではこの比較データが学習信号そのものになる。誰の選好を集めるかで整合先が変わるので、注釈者の構成や指示書は細部ではなく設計上の選択である。

好みで学習する材料