学生版 社会人版
JA EN

#sampling

4 記事

01 ·VLM・マルチモーダル·★ 会員·論文·10分で読めます 動画理解を1から — フレームの束から時間の理解へ Is Space-Time Attention All You Need for Video Understanding? (TimeSformer) 動画は「画像がたくさん」ではない。何枚をどう選ぶか（サンプリング）、フレーム同士をどう混ぜるか（時間注意）、長い動画をどう縮めるか（圧縮）の3つの問いに分けて、前提知識ゼロから式・動く図・コードで解説する。 02 ·確率・統計·★ 会員·12分で読めます モンテカルロ法を1から — 積分をサイコロで解く 解けない積分は、乱数を降らせて平均を取れば近似できます。大数の法則がなぜ 1/√N の遅さを生むのか、重点サンプリングで何が救えるのか、そして正規化定数が分からない分布をMCMCがどう扱うのかを、前提知識ゼロから積み上げます。 03 ·推論・高速化·★ 会員·論文·11分で読めます 投機的デコーディングを1から解説 — 小さな下書きモデルで、出力を一切変えずにLLMを速くする Fast Inference from Transformers via Speculative Decoding 小型モデルに数トークン先まで下書きさせ、大型モデルが一括検証する「投機的デコーディング」。出力分布を数学的に変えないまま2〜3倍速くなる仕組みを、採択率αの直感とともに原論文から解説する。 04 ·確率・統計·★ 会員·10分で読めます AIのための確率・統計 — モデルの出力は確率である 分類モデルもLLMも、返しているのは答えではなく確率分布です。分布・期待値・条件付き確率・ベイズの定理を記号から説明し、山場として「最尤推定がなぜ損失関数になるのか」を導きます。交差エントロピーもMSEも、発明されたのではなく出てきたものです。