学生版 社会人版
JA EN

#architecture

15 記事

01 ·LLM — 大規模言語モデル·無料·論文·16分で読めます Mamba と状態空間モデル(SSM) — 注意機構なしで系列を扱う Efficiently Modeling Long Sequences with Structured State Spaces 注意機構は「全部を覚えて毎回見返す」方式で、その代償が文長の2乗の計算量です。状態空間モデルは逆に「固定サイズのメモを更新し続ける」方式で、系列長に対して線形に伸びます。連続時間の線形システムから出発し、S4がなぜ畳み込みに化けるのか、Mambaが何を「選択的」にして畳み込みを捨てたのか、そしてどこで注意機構に負けるのかまでを前提知識ゼロから追います。 02 ·LLM — 大規模言語モデル·無料·論文·16分で読めます Mamba と状態空間モデル(SSM) — 注意機構なしで系列を扱う Efficiently Modeling Long Sequences with Structured State Spaces 注意機構は「全部を覚えて毎回見返す」方式で、その代償が文長の2乗の計算量です。状態空間モデルは逆に「固定サイズのメモを更新し続ける」方式で、系列長に対して線形に伸びます。連続時間の線形システムから出発し、S4がなぜ畳み込みに化けるのか、Mambaが何を「選択的」にして畳み込みを捨てたのか、そしてどこで注意機構に負けるのかまでを前提知識ゼロから追います。 03 ·Transformerの仕組み·★ 会員·論文·15分で読めます 論文解説: Gated DeltaNet はなぜ4bit量子化に耐えるのか — ハイブリッド27BのNVFP4 W4A4 Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM ハイブリッドLLMの再帰層(Gated DeltaNet)は4bit量子化に弱い、という通説を実測で否定した論文の解説。ゲートの対数パラメータ化とdelta則の上書きが、なぜ量子化ノイズを消してしまうのかを1から追う。 04 ·Transformerの仕組み·★ 会員·論文·15分で読めます 論文解説: 最初の1枚を基準にするのをやめる — Scal3R の複数参照・相対姿勢クエリ Scal3R: Learning Efficient Multi-Relative Pose Query for Scalable Online 3D Reconstruction 長い動画で3D復元モデルが崩壊する原因を「最初のフレームを基準にした外挿」に特定し、凍結したバックボーンへ約1%の学習トークンを足すだけで直した論文を、前提知識ゼロから解説する。 05 ·論文解説·★ 会員·論文·15分で読めます 論文解説 RoboTok — ネット動画から「手の動きが似た手本」を掘り出すデータエンジン RoboTok: An Internet-Scale Data Engine for Human Demonstration Retrieval and Dexterous Manipulation Learning ネット上の人間の動画から「手の動きが似ている手本」だけを引き当てるデータエンジン RoboTok（arXiv:2609.03199）を、前提知識ゼロから解説。DTWで似た動きを定義し、その順位を埋め込みに蒸留して内積検索に落とす設計と、実験結果・限界までを追う。 06 ·Transformerの仕組み·★ 会員·論文·18分で読めます 論文解説: Qwen3.8-Next の設計 — 精度・効率・学習安定性を1つの問題として解く On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability Qwen3.8-Flash-Next の設計報告を1から読み解く。GDNハイブリッド、QSA、Gated Residual、N-gram埋め込みの4部品を、論文が使った「損失・コスト・安定性」の3軸で追う。 07 ·論文解説·★ 会員·論文·16分で読めます 論文解説 J-Zero: 出題者・解答者・審判を同時に育てる「データゼロ」自己進化 J-Zero: Unified Challenger--Solver--Judge Co-Evolution from Zero Data 外部データも人手のラベルも使わず、モデルが自分で問題を作り、解き、採点して成長する枠組み。J-Zero は採点役（Judge）も一緒に育てることで、従来手法が2反復で頭打ちになる壁を越えた。 08 ·開発プロセス·★ 会員·11分で読めます アーキテクチャ設計 — 後から変えられないものを見分ける 設計判断のうち、後から安く取り消せるものと二度と戻せないものをどう見分けるか。可逆性の測り方、ADR（設計決定記録）の書き方、トレードオフを言葉にする型を、前提知識ゼロから解説します。 09 ·論文解説·★ 会員·論文·19分で読めます 論文解説: ゲーム開発を「検証できる軌跡データ工場」にする — RLHEV と AWoMo Agentic Game Development as a Verifiable Trajectory Data Engine for Scaling World Models 世界モデルに足りないのはデータでも計算でもなく「安い答え合わせ」だ、という主張の論文。ゲームエンジンの自動チェックと開発者の採否判断を組み合わせた後訓練 RLHEV を、前提知識ゼロから式・動く図・実験結果まで追う。 10 ·論文解説·★ 会員·論文·14分で読めます 論文解説: Apodex 1.1 — 「完了した仕事」を単位にエージェントをスケールさせる Apodex 1.1: Scaling Agentic Intelligence for Complex Work モデルを大きくするのでも推論時間を伸ばすのでもなく、「環境」と「協調」の2面をスケールさせる——Apodexチームの技術報告を、タスク契約の式からAgentOSの納品ゲート、数字と限界まで1から解説する。 11 ·Transformerの仕組み·無料·論文·13分で読めます Transformer完全解剖 — 埋め込みから出力まで一気通貫 Attention Is All You Need 「今日は」と打ってから「いい天気」が返るまで、たった1つのトークンが何を持たされ、どこで書き換えられ、最後にどうやって言葉に戻るのか。分かち書き・埋め込み・位置・注意・フィードフォワード・残差・出力ヘッドまで、部品を並べるのではなく1本の旅として通しで歩く地図。 12 ·論文解説·★ 会員·論文·18分で読めます 論文解説 Large Discovery Models — LLMに「次に何を試すべきか」を教える価値信号 Large Discovery Models: Empirically-grounded Model-Based Open-Ended Search LLMは案を出せても、その案が本当に良いかを自分では採点できない。論文 Large Discovery Models は、LLMの提案分布をガウス過程由来の「獲得値」で傾けることで、高価な実験予算のもとでの探索を回す枠組みを示す。式から実験数値まで1から解説。 13 ·論文解説·★ 会員·論文·14分で読めます 論文解説: WorldClaw — テキスト1文から「歩ける・編集できる」3Dオープンワールドをエージェントが建設する WorldClaw: Agentic 3D Open-World Generation at Scale 「熱帯の海賊島」と一文入れると、歩き回れて個々の建物を後から動かせる大規模3Dワールドが出てくる——Tencent Hunyuanチームの WorldClaw を論文本文から解説。計画→地形→地域オブジェクトの3段階を専門エージェントが分担し、レンダリングして自分で検品するまでの全工程を追う。 14 ·論文解説·★ 会員·論文·13分で読めます Mixture of Experts (MoE) を1から解説 — Switch Transformerのルーティングと負荷分散 Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity 巨大LLMを支える疎なアーキテクチャ「Mixture of Experts」を、Switch Transformer論文に沿って前提知識ゼロから解説。ルーターの数式、エキスパート容量、負荷分散損失、学習を安定させる3つの工夫まで、一次資料の数値だけで組み立てる。 15 ·論文解説·★ 会員·論文·11分で読めます 論文解説: AskChem — 検索の単位を「論文」から「出典付きクレーム」に変える文献インフラ AskChem: Claim-Centered Infrastructure for Chemistry Literature Synthesis 化学文献の検索単位を論文からDOI＋原文引用つきの「クレーム」に変えたNYU発のインフラ論文を解説。240万クレームの索引・証拠グラフ・ハイブリッド検索の設計と、DOI捏造を88.3%→100%解決に変えた評価、そして限界までを1から読む。