学生版 社会人版
JA EN

#transformer

22 記事

01 ·Transformerの仕組み·★ 会員·論文·15分で読めます 論文解説: 最初の1枚を基準にするのをやめる — Scal3R の複数参照・相対姿勢クエリ Scal3R: Learning Efficient Multi-Relative Pose Query for Scalable Online 3D Reconstruction 長い動画で3D復元モデルが崩壊する原因を「最初のフレームを基準にした外挿」に特定し、凍結したバックボーンへ約1%の学習トークンを足すだけで直した論文を、前提知識ゼロから解説する。 02 ·★ 会員·論文·20分で読めます 論文解説: 直近12フレームだけを見る超長尺3D復元 — Revisiting Local Context for Long-Horizon Streaming 3D Reconstruction Revisiting Local Context for Long-Horizon Streaming 3D Reconstruction 1万フレームを超える動画からカメラ軌跡と3D形状をその場で作り続ける課題に対し、長距離メモリを一切持たず「直近12フレーム」だけで戦う ABot-Recon を、前提知識ゼロから解説する。 03 ·Transformerの仕組み·★ 会員·論文·18分で読めます 論文解説: Qwen3.8-Next の設計 — 精度・効率・学習安定性を1つの問題として解く On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability Qwen3.8-Flash-Next の設計報告を1から読み解く。GDNハイブリッド、QSA、Gated Residual、N-gram埋め込みの4部品を、論文が使った「損失・コスト・安定性」の3軸で追う。 04 ·Transformerの仕組み·★ 会員·論文·13分で読めます 長文脈LLMの技術 — RoPE補間からリング注意まで Extending Context Window of Large Language Models via Positional Interpolation 「コンテキスト長128K」の中身は、性格の違う二つの壁を別々に越えた結果です。位置の壁を越える位置補間・NTK・YaRN、計算の壁を越える窓とリング注意、そして越えられたかを測るneedle試験の読み方を、前提知識ゼロから順に追います。 05 ·Transformerの仕組み·★ 会員·論文·13分で読めます FlashAttentionを1から — 計算を増やして速くする逆説 FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness FlashAttentionは逆伝播でわざと同じ計算をやり直します。演算回数は増えるのに速い——GPUでは掛け算よりデータの運搬のほうが高いからです。HBMとSRAMの往復を数えるところから、タイリングを阻むsoftmaxの壁、それを壊すオンラインsoftmaxの漸化式、そして現場でバックエンドが静かにフォールバックする落とし穴までを前提知識ゼロから追います。 06 ·Transformerの仕組み·★ 会員·論文·15分で読めます 【実装】BPEトークナイザを自作する — マージ規則を学習し、日本語で殴られる Neural Machine Translation of Rare Words with Subword Units BPEの学習器とエンコーダを自分で書く。マージ規則が「順序付きの手順書」であること、素朴な数え直しをどう捨てるか、日本語では語彙の先頭数千枠が「文字を組み立てる」ことに消える理由、語彙サイズを振る実験の正しい測り方までを実装の手触りで追う。 07 ·Transformerの仕組み·★ 会員·論文·19分で読めます 【実装】ミニGPTを自作する — 300行の言語モデル Attention Is All You Need PyTorchで文字単位のミニGPTを最初から組む。トークナイザ・因果マスク付き自己注意・学習ループ・温度サンプリングまでを1本のコードとして通し、シェイクスピアの文体が立ち上がるまでを追う。 08 ·Transformerの仕組み·★ 会員·論文·12分で読めます エンコーダとデコーダ — BERTとGPTの分岐点 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 同じTransformerから生まれたBERTとGPTを分けたのは、注意の表を隠すマスク1枚だった。双方向と自己回帰の違いを式と動く図で確かめ、なぜ生成側が主流になり、それでもエンコーダが検索と分類の現場で使われ続けるのかを解く。 09 ·Transformerの仕組み·無料·論文·13分で読めます Transformer完全解剖 — 埋め込みから出力まで一気通貫 Attention Is All You Need 「今日は」と打ってから「いい天気」が返るまで、たった1つのトークンが何を持たされ、どこで書き換えられ、最後にどうやって言葉に戻るのか。分かち書き・埋め込み・位置・注意・フィードフォワード・残差・出力ヘッドまで、部品を並べるのではなく1本の旅として通しで歩く地図。 10 ·モデル系統図鑑·★ 会員·13分で読めます GPT系譜 — GPT-1から現在までの設計思想 GPT-1からGPT-4o・推論モデルまで、各世代で「何を変え、何を変えなかったのか」を追う。設計の中心にあるのは一貫して『次の一語を当てる』だけの機械で、変わったのは規模・学習の順序・出力の躾け方だった。 11 ·Transformerの仕組み·無料·論文·13分で読めます トークナイザを1から — LLMが世界を切り刻む単位 Neural Machine Translation of Rare Words with Subword Units LLMは文字も単語も読んでいない。BPEがどう語彙を作るか、SentencePieceが何を解決したか、なぜ日本語は同じ内容で損をするのか、語彙サイズを増やすと何と何が交換されるのかを、前提知識ゼロから手計算とコードで追う。 12 ·時系列データ系·★ 会員·論文·13分で読めます 時系列にTransformerは効くのか — 論争と実務の答え Are Transformers Effective for Time Series Forecasting? 1層の線形モデルが当時の時系列Transformer群を上回った2022年の論争から、パッチ化で反撃したPatchTST、軸を転置したiTransformerまで。原因は注意機構ではなくトークンの切り方でした。それでも実務のコンペを勾配ブースティングが取り続ける理由も、データの形の違いから説明します。 13 ·Transformerの仕組み·★ 会員·論文·11分で読めます Attentionの変種図鑑 — MQA・GQA・スライディング窓・線形注意 Fast Transformer Decoding: One Write-Head is All You Need MQA・GQA・スライディング窓・線形注意は、それぞれ勝手に生まれた別々の工夫ではありません。KVキャッシュの大きさを決める一本の掛け算式があり、変種は「どの項を叩いたか」で分類できます。系譜を式の上に並べ直すと、何を捨てて何を得たのかが一目で見えます。 14 ·CNN・画像認識·★ 会員·論文·12分で読めます 物体検出を1から解説（YOLO・DETRまで） End-to-End Object Detection with Transformers 画像の「どこに何があるか」を当てる物体検出を、2段階検出器・アンカー・NMSという古典の道具立てから、それらを丸ごと不要にしたDETRの発想転換まで、前提知識ゼロで解説。一次資料はDETR論文。 15 ·エージェント·★ 会員·論文·11分で読めます 論文解説: Metis — 記憶を外付けせず、モデルの中に住まわせる「Memory Foundation Model」 Metis: Memory Foundation Model AIエージェントの記憶は今もRAGなどの「外付け」が主流。この論文は記憶をモデル本体の順伝播に内蔵する Memory Foundation Model を提唱し、初のプロトタイプ Metis を提案する。覚える・忘れる・更新するを勾配なしのforward計算だけで実行する仕組みと、その実力・限界を1から解説。 16 ·論文解説·★ 会員·論文·13分で読めます Mixture of Experts (MoE) を1から解説 — Switch Transformerのルーティングと負荷分散 Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity 巨大LLMを支える疎なアーキテクチャ「Mixture of Experts」を、Switch Transformer論文に沿って前提知識ゼロから解説。ルーターの数式、エキスパート容量、負荷分散損失、学習を安定させる3つの工夫まで、一次資料の数値だけで組み立てる。 17 ·VLM・マルチモーダル·★ 会員·論文·11分で読めます BEV表現を1から — 複数カメラを俯瞰図に統合する Lift 自動運転車が6台のカメラ映像を1枚の「上から見た地図」に変換する仕組みを、透視投影の復習から解説。深度を確率分布で押し出すLSSと、BEV側から問い合わせるTransformer系(BEVFormer)の設計思想の違いまで、前提知識ゼロから追う。 18 ·VLM・マルチモーダル·★ 会員·論文·10分で読めます 論文解説: ViT — 画像を単語のように扱う An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale ViT原論文（Dosovitskiy et al., 2020/2021）を本文だけを根拠に読む。16×16のパッチを単語として扱うという一手、位置埋め込みのアブレーション、CNNの帰納バイアスを捨てた代償、そして「大規模データでCNNを超える」という条件付きの主張の中身。 19 ·Transformerの仕組み·無料·論文·13分で読めます 位置エンコーディングを1から理解する（絶対位置からRoPEまで） Attention Is All You Need Transformerは素のままでは語順を知らない。なぜ位置情報が要るのかから始めて、sin/cosの絶対位置、学習型、そして現代LLMの標準であるRoPEまでを段階的に解説。「なぜ回転が相対位置を表せるのか」を式で示す。 20 ·推論・高速化·無料·10分で読めます KVキャッシュを1から理解する — 推論高速化の核心 LLMは1トークンずつ答えを吐きます。素朴に実装すると、1トークン出すたびに文全体を計算し直すという壮大な無駄が生まれる。KとVは過去のぶんが二度と変わらない——この一点だけで計算量が桁で落ちます。代わりに払うのがメモリで、その量は自分で見積もれます。バッチサイズと文脈長がなぜメモリで頭打ちになるのかまで。 21 ·論文解説·★ 会員·論文·14分で読めます 論文解説 Attention Is All You Need — 再帰を捨てたモデルは何を証明したのか Attention Is All You Need Transformerの原論文を、本文だけを根拠に読み解く。スケーリング付き内積注意の式、なぜルートd_kで割るのか、アブレーションが暴いた設計の急所、そして論文自身が認めた限界まで。 22 ·Transformerの仕組み·無料·10分で読めます Attention機構を1から理解する — Transformerの心臓部を絵解きで ChatGPTの中核technology「自己注意機構」を、前提知識ゼロから比喩→直感→行列計算→numpyコードの順で解説。数式アレルギーでも読める入門記事。