学生版 社会人版
JA EN

#benchmark-contamination

1 記事

01 ·蒸留と圧縮·★ 会員·論文·12分で読めます 蒸留モデルの評価 — 「教師に近い」は良い指標か The False Promise of Imitating Proprietary LLMs 蒸留した生徒モデルを「教師との一致率」で採点すると、教師の誤りを忠実に写した生徒ほど高得点になります。一致率が数学的に何を保証して何を保証しないのか、分布の外で何が崩れるのか、合成データ経由のベンチマーク汚染をどう検査するのか — 蒸留モデルの評価設計を前提知識ゼロから組み立てます。