用語集 › evaluation
GLOSSARY
evaluation
評価。性能を測ること
10本の論文題名に登場
定義
モデルの性能を、定められた課題と指標で測ること。学習データとの重複、指標の妥当性、実行ごとのばらつきの扱いが信頼性を左右する。ベンチマーク点数だけでは実運用での有用性を示せないため、人手評価や実タスクでの検証と組み合わせるのが標準になっている。
論文題名での読み方
測る側の研究を示す
この語が出てくる解説
- 論文解説: MiniMax-H3は物理世界を推論できるか — 全モダリティ生成モデルを「言われていないこと」で試す評価Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model
- 論文解説: DataFlex-RL — RLVRの「データ政策」11手法は一様サンプリングに勝てたか。12シードで測り直した結果DataFlex-RL: An Evaluation Platform for RLVR Data Policies
- 論文解説: RealSWE — 「バグ直して」だけの依頼でコーディングエージェントを測り直すRealSWE: A Compositional Evaluation of Coding Agents under Realistic User Requests