#attention

16 記事

01 ·推論・高速化·★ 会員·論文·13分で読めます 論文解説: FreeFlow — 専用部品ゼロの階層Transformerでオプティカルフローを解く FreeFlow: A Bias-free Hierarchical Transformer for Optical Flow Estimation 相関ボリュームもワーピングも反復改善も使わず、窓・ずらし窓・低解像度の全体注意を組み合わせただけのTransformerで、Sintel・KITTI-2015・Springの最高水準に届いたFreeFlowを、前提知識ゼロから解説します。 02 ·Transformerの仕組み·★ 会員·論文·22分で読めます 論文解説: SAS — 疎注意の「どのブロックを読むか」を言語モデル損失で端から端まで学習する SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking 長い文脈のどのブロックを読むかを決める「セレクター」は、従来は元モデルの注意分布を真似る蒸留で訓練されていた。SASはセレクターの点数を対数ゲートとしてsoftmaxの中に注入し、Top-Kで止まっていた勾配を通して、次トークン予測の損失だけで選択を学習させる。1024トークン予算でGPQA-Diamondが10.6〜15.5点改善した論文を、4つの設計判断のアブレーションと勾配の式まで追って読む。 03 ·推論・高速化·★ 会員·論文·18分で読めます 論文解説: BeaconKV — 「思考を読み返す瞬間」を先読みしてKVキャッシュを捨てる BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference 推論モデルは長い思考の途中で、序盤に立てた方針をふと読み返す。その瞬間のクエリは埋め込み空間で少数の塊を作る——だから塊の代表（ビーコン）を数十本持っておけば、どのKVを残すべきか先読みできる。学習不要で最大5.8倍のメモリ削減・4.3倍超のスループットを実測した論文を、式とコードで読み解きます。 04 ·時系列データ系·★ 会員·論文·18分で読めます H3-World 論文解説：言語理解を「世界の操作」に変える手法とは H3-World: Turning Language Understanding into World Control H3-World とは、33Bの動画生成モデルを、専用のアクション機構を足さずに「操作できる世界モデル」へ変える手法。行動を文に変換し、動画潜在の時間区間に結びつけ、注意のルーティングで混線を止める。動かすのは全パラメータの0.199%だけ。 05 ·Transformerの仕組み·★ 会員·論文·13分で読めます 長文脈LLMの技術 — RoPE補間からリング注意まで Extending Context Window of Large Language Models via Positional Interpolation 「コンテキスト長128K」の中身は、性格の違う二つの壁を別々に越えた結果です。位置の壁を越える位置補間・NTK・YaRN、計算の壁を越える窓とリング注意、そして越えられたかを測るneedle試験の読み方を、前提知識ゼロから順に追います。 06 ·Transformerの仕組み·無料·論文·13分で読めます FlashAttentionを1から — 計算を増やして速くする逆説 FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness FlashAttentionは逆伝播でわざと同じ計算をやり直します。演算回数は増えるのに速い——GPUでは掛け算よりデータの運搬のほうが高いからです。HBMとSRAMの往復を数えるところから、タイリングを阻むsoftmaxの壁、それを壊すオンラインsoftmaxの漸化式、そして現場でバックエンドが静かにフォールバックする落とし穴までを前提知識ゼロから追います。 07 ·Transformerの仕組み·無料·論文·13分で読めます Transformer完全解剖 — 埋め込みから出力まで一気通貫 Attention Is All You Need 「今日は」と打ってから「いい天気」が返るまで、たった1つのトークンが何を持たされ、どこで書き換えられ、最後にどうやって言葉に戻るのか。分かち書き・埋め込み・位置・注意・フィードフォワード・残差・出力ヘッドまで、部品を並べるのではなく1本の旅として通しで歩く地図。 08 ·Transformerの仕組み·無料·論文·13分で読めます Transformer完全解剖 — 埋め込みから出力まで一気通貫 Attention Is All You Need 「今日は」と打ってから「いい天気」が返るまで、たった1つのトークンが何を持たされ、どこで書き換えられ、最後にどうやって言葉に戻るのか。分かち書き・埋め込み・位置・注意・フィードフォワード・残差・出力ヘッドまで、部品を並べるのではなく1本の旅として通しで歩く地図。 09 ·Transformerの仕組み·無料·論文·11分で読めます Attentionの変種図鑑 — MQA・GQA・スライディング窓・線形注意 Fast Transformer Decoding: One Write-Head is All You Need MQA・GQA・スライディング窓・線形注意は、それぞれ勝手に生まれた別々の工夫ではありません。KVキャッシュの大きさを決める一本の掛け算式があり、変種は「どの項を叩いたか」で分類できます。系譜を式の上に並べ直すと、何を捨てて何を得たのかが一目で見えます。 10 ·Transformerの仕組み·無料·論文·11分で読めます Attentionの変種図鑑 — MQA・GQA・スライディング窓・線形注意 Fast Transformer Decoding: One Write-Head is All You Need MQA・GQA・スライディング窓・線形注意は、それぞれ勝手に生まれた別々の工夫ではありません。KVキャッシュの大きさを決める一本の掛け算式があり、変種は「どの項を叩いたか」で分類できます。系譜を式の上に並べ直すと、何を捨てて何を得たのかが一目で見えます。 11 ·Transformerの仕組み·無料·論文·13分で読めます 位置エンコーディングを1から理解する（絶対位置からRoPEまで） Attention Is All You Need Transformerは素のままでは語順を知らない。なぜ位置情報が要るのかから始めて、sin/cosの絶対位置、学習型、そして現代LLMの標準であるRoPEまでを段階的に解説。「なぜ回転が相対位置を表せるのか」を式で示す。 12 ·Transformerの仕組み·無料·論文·13分で読めます 位置エンコーディングを1から理解する（絶対位置からRoPEまで） Attention Is All You Need Transformerは素のままでは語順を知らない。なぜ位置情報が要るのかから始めて、sin/cosの絶対位置、学習型、そして現代LLMの標準であるRoPEまでを段階的に解説。「なぜ回転が相対位置を表せるのか」を式で示す。 13 ·論文解説·無料·論文·14分で読めます 論文解説 Attention Is All You Need — 再帰を捨てたモデルは何を証明したのか Attention Is All You Need Transformerの原論文を、本文だけを根拠に読み解く。スケーリング付き内積注意の式、なぜルートd_kで割るのか、アブレーションが暴いた設計の急所、そして論文自身が認めた限界まで。 14 ·論文解説·無料·論文·14分で読めます 論文解説 Attention Is All You Need — 再帰を捨てたモデルは何を証明したのか Attention Is All You Need Transformerの原論文を、本文だけを根拠に読み解く。スケーリング付き内積注意の式、なぜルートd_kで割るのか、アブレーションが暴いた設計の急所、そして論文自身が認めた限界まで。 15 ·Transformerの仕組み·無料·10分で読めます Attention機構を1から理解する — Transformerの心臓部を絵解きで ChatGPTの中核technology「自己注意機構」を、前提知識ゼロから比喩→直感→行列計算→numpyコードの順で解説。数式アレルギーでも読める入門記事。 16 ·Transformerの仕組み·無料·10分で読めます Attention機構を1から理解する — Transformerの心臓部を絵解きで ChatGPTの中核technology「自己注意機構」を、前提知識ゼロから比喩→直感→行列計算→numpyコードの順で解説。数式アレルギーでも読める入門記事。