学生版 社会人版
JA EN

#rope

2 記事

01 ·Transformerの仕組み·★ 会員·論文·13分で読めます 長文脈LLMの技術 — RoPE補間からリング注意まで Extending Context Window of Large Language Models via Positional Interpolation 「コンテキスト長128K」の中身は、性格の違う二つの壁を別々に越えた結果です。位置の壁を越える位置補間・NTK・YaRN、計算の壁を越える窓とリング注意、そして越えられたかを測るneedle試験の読み方を、前提知識ゼロから順に追います。 02 ·Transformerの仕組み·無料·論文·13分で読めます 位置エンコーディングを1から理解する（絶対位置からRoPEまで） Attention Is All You Need Transformerは素のままでは語順を知らない。なぜ位置情報が要るのかから始めて、sin/cosの絶対位置、学習型、そして現代LLMの標準であるRoPEまでを段階的に解説。「なぜ回転が相対位置を表せるのか」を式で示す。