context

定義

モデルが一度の推論で参照できる入力の範囲、いわゆるコンテキスト。ここに入っていない情報はモデルにとって存在せず、長い文書や会話履歴、検索結果をどう詰め込むかが実用上の中心課題になる。学習で重みに焼き込まれた知識と違い、推論時にその場で与える一時的な情報である点が本質。

論文題名での読み方

context length=文脈長

この語が出てくる解説

• 論文解説: SAS — 疎注意の「どのブロックを読むか」を言語モデル損失で端から端まで学習するSAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking
• 論文解説: Online Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training — 122B・256Kトークンで下書きモデルを方針と一緒に学習させるOnline Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training
• 論文解説 The Missing Temporal Link — 台本の「時刻」を映像と音声の時間軸に載せるTemporal Context RoutingThe Missing Temporal Link: Temporal Context Routing for Script-Driven Audio-Video Generation