feedback

定義

出力に対する評価を返し、それを次の学習や生成に反映させる仕組み。RLHF の HF がこれで、人間の選好比較を報酬信号に変えてモデルを整える。近年は人間の代わりにモデルが評価する AI フィードバックも広く使われ、収集費用を下げる一方で評価者の偏りが増幅される懸念がある。

論文題名での読み方

RLHFのfeedback

この語が出てくる解説

• アライメント概説 — RLHFからConstitutional AIまでTraining language models to follow instructions with human feedback
• 推薦システムと埋め込み — RAGと同じ数学、違う目的BPR: Bayesian Personalized Ranking from Implicit Feedback
• KL情報量を1から — 2つの分布の「ズレ」を測るTraining language models to follow instructions with human feedback