mix

定義

学習データを分野・言語・出典ごとにどの割合で配合するかを指す語（data mix）。同じ総トークン数でも配合次第で下流性能が大きく変わるため、コードや数学をどれだけ混ぜるかは事前学習の主要な設計変数になっている。Mixture-of-Experts の mixture とは別の話。

論文題名での読み方

学習データの配合

この語が出てくる解説

• 論文解説: 本番トラフィックから事後学習へ — 社内200アプリを1つの自前LLMに寄せるFrom Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix