student

定義

知識蒸留において、大きな教師モデルの振る舞いを手本に学習する側の小さいモデル。正解ラベルだけでなく教師の出力分布や中間表現に合わせて学習することで、同じ規模を素直に学習させた場合より高い性能に届くことがある。教師(teacher)と対をなす役割を表す語であって、特定のアーキテクチャを指すわけではない。

論文題名での読み方

蒸留で学ぶ側

この語が出てくる解説

• 論文解説: StudentSim — 「その生徒そのもの」を訓練で作る学習者シミュレータStudentSim: Training LLM-based Student Simulators