#triton

1 記事

01 ·Transformerの仕組み·★ 会員·論文·22分で読めます 論文解説: SAS — 疎注意の「どのブロックを読むか」を言語モデル損失で端から端まで学習する SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking 長い文脈のどのブロックを読むかを決める「セレクター」は、従来は元モデルの注意分布を真似る蒸留で訓練されていた。SASはセレクターの点数を対数ゲートとしてsoftmaxの中に注入し、Top-Kで止まっていた勾配を通して、次トークン予測の損失だけで選択を学習させる。1024トークン予算でGPQA-Diamondが10.6〜15.5点改善した論文を、4つの設計判断のアブレーションと勾配の式まで追って読む。