self-instruct

定義

モデル自身に指示文と応答の組を作らせ、それを選別して自分の微調整に使う手法。人手で指示データを書く費用を避けられるため、少数の種となる例から大量の指示データを膨らませる定番の作り方になった。人の選好を学ぶ RLHF とは別物で、こちらは教師あり微調整用のデータを作る話である。

論文題名での読み方

指示データの自動生成

この語が出てくる解説

• データセット構築の実務 — 集める・洗う・混ぜるSelf-Instruct: Aligning Language Models with Self-Generated Instructions