in-context

定義

モデルの重みを変えず、プロンプトに含めた説明や例だけで振る舞いを変えること。数例で新しい課題に対応できるin-context learningは大規模言語モデルの中心的な性質で、即座に試せる一方、文脈長の上限と入力コストが制約になる。重みを更新するfine-tuningとは、効果がその推論の間だけである点で異なる。

論文題名での読み方

追加学習なしで学ぶ話

この語が出てくる解説

• 論文解説: BDH-CQ — 言葉にせずに考えるAI。再帰メモリ×潜在推論がARCのコスト効率を塗り替えたBDH-CQ: In-Context Learning with Recurrent Latent Reasoning