用語集 › continued
GLOSSARY
continued
継続した。途中から続けて行う
1本の論文題名に登場
定義
既に学習済みのモデルに対し、初期化からやり直さず追加でデータを流して学習を続けること。continued pretrainingは事前学習と同じ目的関数のまま新しいコーパスで学習を延長し、汎用モデルを特定分野や言語に適応させる。微調整とは規模も目的も異なり、破滅的忘却への対処が論点になる。
論文題名での読み方
continued pretraining
この語が出てくる解説
- 論文解説: Beyond Data Scaling — ロボット基盤モデルは「データ量」より「表現」で決まる(VLAct)Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models