#hypernetwork

1 記事

01 ·推論・高速化·★ 会員·論文·9分で読めます 論文解説: IntBMoE — 全専門家を「参加」させつつ、計算は少数ブロックだけで済ませるMoE IntBMoE: Integrating Block-Level Conditioning into Expert Composition for Full-Participation Mixture-of-Experts MoEの「何人の専門家が知識を出すか」「何人分を計算するか」「何人分の重みを作って置くか」は、これまで独立に決められなかった。専門家の合成とブロックの疎な実行を分けてこれを解いた IntBMoE (arXiv:2609.21346) を、論文本文だけを根拠に1から解説する。