teacher

定義

蒸留において、知識を渡す側の大きい・強いモデルを指す語。その出力分布や中間表現を目標にして小さい student を学習させ、精度をなるべく保ったまま推論コストを下げる。人間の教師ではなくモデルを指し、student と必ず対で使われる。

論文題名での読み方

student(生徒)と対になる

この語が出てくる解説

• 論文解説: On-Policy Distillationは本当に蒸留しているのか — ノイズまみれの教師から自己改善へDoes On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement
• 論文解説: Self-OPD — 教師モデルなしで、画像生成モデルが自分を蒸留するSelf-OPD: On-Policy Distillation for Flow Matching Models without Teacher