scale

定義

モデルのパラメータ数、学習データ量、投入計算量といった規模のこと。この分野では「at scale＝大規模で」「scaling＝規模を増やす」の意味で使われ、規模を上げるだけで性能が予測どおり伸びるという観測が過去数年の開発方針を規定してきた。目盛りや尺度という日常の意味とは別。

論文題名での読み方

at scale=大規模に

この語が出てくる解説

• 論文解説: X-AuT — 音声エンコーダの層を「2枚ずつ」抜いて、大きい教師で埋め戻すX-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation
• 論文解説: Online Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training — 122B・256Kトークンで下書きモデルを方針と一緒に学習させるOnline Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training
• 論文解説 RoboTok — ネット動画から「手の動きが似た手本」を掘り出すデータエンジンRoboTok: An Internet-Scale Data Engine for Human Demonstration Retrieval and Dexterous Manipulation Learning