用語集 › pre-training
GLOSSARY
pre-training
事前学習。大量データで先に学ばせる工程
6本の論文題名に登場
定義
本番の課題に取りかかる前に、大量の汎用データで基礎的な表現をモデルに学ばせておく工程。今の大規模モデルはこの段階で費用の大半を使い、以降の微調整は比較的小さな追加投資で済む。fine-tuning が目的別の後段調整なのに対し、pre-training は特定タスクを想定しない前段にあたる。
論文題名での読み方
微調整より前の段階
この語が出てくる解説
- 論文解説: ZimaBlue — 12万時間の一人称動画でロボットを汎化させるZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training
- 論文解説: Beyond Data Scaling — ロボット基盤モデルは「データ量」より「表現」で決まる(VLAct)Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models
- エンコーダとデコーダ — BERTとGPTの分岐点BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding