#architecture

24 記事

01 ·論文解説·★ 会員·論文·9分で読めます 論文解説: From Evidence to Action: How Tool-Using Agents Fail — 失敗の診断指標と介入実験を本文から読む From Evidence to Action: How Tool-Using Agents Fail 道具を使うエージェントの失敗を「調べる・動く・つなぐ」の鎖に分けて測ったSafeActBench論文を、本文と付録まで読んで解説。診断指標の定義、根拠を抜いたときの挙動、証拠を構造化する追加実験の結果まで追う。 02 ·論文解説·★ 会員·論文·10分で読めます 論文解説: EVISKILL — エージェントの手順書を「再生できる証拠」で書き換える EVISKILL: Grounding Skill Evolution in Replayable Evidence LLMエージェントの手順書（スキル）を経験から自動で改訂するとき、修正ごとに根拠となる実行区間を記録し、その区間だけを再実行して効き目を確かめる枠組み。3つのベンチマークと6つのモデルの組み合わせ18通りのうち14通りで最高精度でした。 03 ·論文解説·★ 会員·論文·8分で読めます 論文解説: Persona Dosing — LLMの性格の「強さ」を点数で指定する活性化ステアリング Persona Dosing: Calibrated Activation Steering for Graded Trait Control 活性化ステアリングの係数には「どれだけ性格が出るか」という意味がない。PersonaDoseは説明文で動く共有コントローラを学習し、後から強さと点数の対応表を測って「迎合度60で」と頼める形にした。 04 ·論文解説·★ 会員·論文·10分で読めます 論文解説: False Frontiers — 自己進化する検索エージェントの「共謀カンニング」を診断して断つ False Frontiers: Diagnosing and Mitigating Co-Cheating in Self-Evolving Search Agents 問題を作るAIと解くAIが同じ間違いで「一致」し、内部の報酬だけが伸びていく失敗＝co-cheatingを外部監査で可視化し、採点役を『そのソースを学習していない解答器』に差し替えるCrossFitで断つ論文。仕組み・実験・コスト・限界まで読み解く。 05 ·論文解説·★ 会員·論文·9分で読めます 論文解説: RayOrch — 親子関係を保ったままGPUで束ねる、基盤モデル用データ前処理エンジン RayOrch: Programming and Executing Lineage-Controlled Multi-Grain Dataflows for Foundation-Model Data Preparation PDFをページに、動画をクリップに分けてGPUでまとめ処理しつつ、結果を正しい親へ正しい順で戻す。その「系譜」をアプリではなく実行エンジンが持つRayOrchを、用語・状態遷移・実験数値まで1から解説。 06 ·Transformerの仕組み·★ 会員·論文·12分で読めます 論文解説: Your Transformer Can Hold Two Thoughts at Once — 2本の文章を混ぜてもLLMは両方の続きを覚えている Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs 無関係な2本の文章の埋め込みを平均して1回だけ通すと、LLMの出力には両方の次トークン候補が残る。この『重ね合わせ線形性』が学習でむしろ弱まること、軽い微調整で戻ること、2本の続きを分けて生成する試みまでを論文本文に沿って解説する。 07 ·Transformerの仕組み·★ 会員·論文·10分で読めます 論文解説: LimiX-2 — 「答えの列」ではなく「表全体の仕組み」を学ぶ表データ基盤モデル LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence 表データ基盤モデルLimiX-2を1から解説。目的変数だけを当てる従来のPFNから、表の同時分布を学ぶ「Contextual Mechanism Network」への転換、セル単位の表現、合成因果データでの事前学習、3ベンチマークでの結果と限界まで。 08 ·Transformerの仕組み·★ 会員·論文·22分で読めます 論文解説: SAS — 疎注意の「どのブロックを読むか」を言語モデル損失で端から端まで学習する SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking 長い文脈のどのブロックを読むかを決める「セレクター」は、従来は元モデルの注意分布を真似る蒸留で訓練されていた。SASはセレクターの点数を対数ゲートとしてsoftmaxの中に注入し、Top-Kで止まっていた勾配を通して、次トークン予測の損失だけで選択を学習させる。1024トークン予算でGPQA-Diamondが10.6〜15.5点改善した論文を、4つの設計判断のアブレーションと勾配の式まで追って読む。 09 ·論文解説·★ 会員·論文·19分で読めます 論文解説 CosmoH2G — 人の手の「ひっくり返す」動きを、二本指グリッパに写す CosmoH2G: A Hand-to-Gripper Transfer Dataset and Baseline Method for Object Manipulation with Complex Spatial Movements 人の手の動画を二本指グリッパの動作に変換する研究は、これまで「置く・押す」のような平面的な作業に限られていた。CosmoH2G（arXiv:2609.07498）は回転・反転を含む動きに絞った手とグリッパの対データ6,189本を集め、始点と終点の姿勢を先に決めてから間を生成する二段構えで、既存手法より安定して写せることを示した。論文本文だけを根拠に解説する。 10 ·LLM — 大規模言語モデル·無料·論文·16分で読めます Mamba と状態空間モデル(SSM) — 注意機構なしで系列を扱う Efficiently Modeling Long Sequences with Structured State Spaces 注意機構は「全部を覚えて毎回見返す」方式で、その代償が文長の2乗の計算量です。状態空間モデルは逆に「固定サイズのメモを更新し続ける」方式で、系列長に対して線形に伸びます。連続時間の線形システムから出発し、S4がなぜ畳み込みに化けるのか、Mambaが何を「選択的」にして畳み込みを捨てたのか、そしてどこで注意機構に負けるのかまでを前提知識ゼロから追います。 11 ·LLM — 大規模言語モデル·無料·論文·16分で読めます Mamba と状態空間モデル(SSM) — 注意機構なしで系列を扱う Efficiently Modeling Long Sequences with Structured State Spaces 注意機構は「全部を覚えて毎回見返す」方式で、その代償が文長の2乗の計算量です。状態空間モデルは逆に「固定サイズのメモを更新し続ける」方式で、系列長に対して線形に伸びます。連続時間の線形システムから出発し、S4がなぜ畳み込みに化けるのか、Mambaが何を「選択的」にして畳み込みを捨てたのか、そしてどこで注意機構に負けるのかまでを前提知識ゼロから追います。 12 ·Transformerの仕組み·★ 会員·論文·15分で読めます 論文解説: Gated DeltaNet はなぜ4bit量子化に耐えるのか — ハイブリッド27BのNVFP4 W4A4 Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM ハイブリッドLLMの再帰層(Gated DeltaNet)は4bit量子化に弱い、という通説を実測で否定した論文の解説。ゲートの対数パラメータ化とdelta則の上書きが、なぜ量子化ノイズを消してしまうのかを1から追う。 13 ·Transformerの仕組み·★ 会員·論文·15分で読めます 論文解説: 最初の1枚を基準にするのをやめる — Scal3R の複数参照・相対姿勢クエリ Scal3R: Learning Efficient Multi-Relative Pose Query for Scalable Online 3D Reconstruction 長い動画で3D復元モデルが崩壊する原因を「最初のフレームを基準にした外挿」に特定し、凍結したバックボーンへ約1%の学習トークンを足すだけで直した論文を、前提知識ゼロから解説する。 14 ·論文解説·★ 会員·論文·15分で読めます 論文解説 RoboTok — ネット動画から「手の動きが似た手本」を掘り出すデータエンジン RoboTok: An Internet-Scale Data Engine for Human Demonstration Retrieval and Dexterous Manipulation Learning ネット上の人間の動画から「手の動きが似ている手本」だけを引き当てるデータエンジン RoboTok（arXiv:2609.03199）を、前提知識ゼロから解説。DTWで似た動きを定義し、その順位を埋め込みに蒸留して内積検索に落とす設計と、実験結果・限界までを追う。 15 ·Transformerの仕組み·★ 会員·論文·18分で読めます 論文解説: Qwen3.8-Next の設計 — 精度・効率・学習安定性を1つの問題として解く On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability Qwen3.8-Flash-Next の設計報告を1から読み解く。GDNハイブリッド、QSA、Gated Residual、N-gram埋め込みの4部品を、論文が使った「損失・コスト・安定性」の3軸で追う。 16 ·論文解説·★ 会員·論文·16分で読めます 論文解説 J-Zero: 出題者・解答者・審判を同時に育てる「データゼロ」自己進化 J-Zero: Unified Challenger--Solver--Judge Co-Evolution from Zero Data 外部データも人手のラベルも使わず、モデルが自分で問題を作り、解き、採点して成長する枠組み。J-Zero は採点役（Judge）も一緒に育てることで、従来手法が2反復で頭打ちになる壁を越えた。 17 ·開発プロセス·★ 会員·11分で読めます アーキテクチャ設計 — 後から変えられないものを見分ける 設計判断のうち、後から安く取り消せるものと二度と戻せないものをどう見分けるか。可逆性の測り方、ADR（設計決定記録）の書き方、トレードオフを言葉にする型を、前提知識ゼロから解説します。 18 ·論文解説·★ 会員·論文·19分で読めます 論文解説: ゲーム開発を「検証できる軌跡データ工場」にする — RLHEV と AWoMo Agentic Game Development as a Verifiable Trajectory Data Engine for Scaling World Models 世界モデルに足りないのはデータでも計算でもなく「安い答え合わせ」だ、という主張の論文。ゲームエンジンの自動チェックと開発者の採否判断を組み合わせた後訓練 RLHEV を、前提知識ゼロから式・動く図・実験結果まで追う。 19 ·論文解説·★ 会員·論文·14分で読めます 論文解説: Apodex 1.1 — 「完了した仕事」を単位にエージェントをスケールさせる Apodex 1.1: Scaling Agentic Intelligence for Complex Work モデルを大きくするのでも推論時間を伸ばすのでもなく、「環境」と「協調」の2面をスケールさせる——Apodexチームの技術報告を、タスク契約の式からAgentOSの納品ゲート、数字と限界まで1から解説する。 20 ·Transformerの仕組み·無料·論文·13分で読めます Transformer完全解剖 — 埋め込みから出力まで一気通貫 Attention Is All You Need 「今日は」と打ってから「いい天気」が返るまで、たった1つのトークンが何を持たされ、どこで書き換えられ、最後にどうやって言葉に戻るのか。分かち書き・埋め込み・位置・注意・フィードフォワード・残差・出力ヘッドまで、部品を並べるのではなく1本の旅として通しで歩く地図。 21 ·論文解説·★ 会員·論文·18分で読めます 論文解説 Large Discovery Models — LLMに「次に何を試すべきか」を教える価値信号 Large Discovery Models: Empirically-grounded Model-Based Open-Ended Search LLMは案を出せても、その案が本当に良いかを自分では採点できない。論文 Large Discovery Models は、LLMの提案分布をガウス過程由来の「獲得値」で傾けることで、高価な実験予算のもとでの探索を回す枠組みを示す。式から実験数値まで1から解説。 22 ·論文解説·★ 会員·論文·14分で読めます 論文解説: WorldClaw — テキスト1文から「歩ける・編集できる」3Dオープンワールドをエージェントが建設する WorldClaw: Agentic 3D Open-World Generation at Scale 「熱帯の海賊島」と一文入れると、歩き回れて個々の建物を後から動かせる大規模3Dワールドが出てくる——Tencent Hunyuanチームの WorldClaw を論文本文から解説。計画→地形→地域オブジェクトの3段階を専門エージェントが分担し、レンダリングして自分で検品するまでの全工程を追う。 23 ·論文解説·無料·論文·13分で読めます Mixture of Experts (MoE) を1から解説 — Switch Transformerのルーティングと負荷分散 Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity 巨大LLMを支える疎なアーキテクチャ「Mixture of Experts」を、Switch Transformer論文に沿って前提知識ゼロから解説。ルーターの数式、エキスパート容量、負荷分散損失、学習を安定させる3つの工夫まで、一次資料の数値だけで組み立てる。 24 ·論文解説·★ 会員·論文·11分で読めます 論文解説: AskChem — 検索の単位を「論文」から「出典付きクレーム」に変える文献インフラ AskChem: Claim-Centered Infrastructure for Chemistry Literature Synthesis 化学文献の検索単位を論文からDOI＋原文引用つきの「クレーム」に変えたNYU発のインフラ論文を解説。240万クレームの索引・証拠グラフ・ハイブリッド検索の設計と、DOI捏造を88.3%→100%解決に変えた評価、そして限界までを1から読む。