論文解説: LimiX-2 — 「答えの列」ではなく「表全体の仕組み」を学ぶ表データ基盤モデル

表データ基盤モデルLimiX-2を1から解説。目的変数だけを当てる従来のPFNから、表の同時分布を学ぶ「Contextual Mechanism Network」への転換、セル単位の表現、合成因果データでの事前学習、3ベンチマークでの結果と限界まで。

LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence

この論文は何を言っているのか

今回読むのは、LimiX Team（Stable AI と清華大学）が2026年9月15日に公開した技術報告 "LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence"（arXiv:2609.17488）です。

アブストラクトの要旨はこうです。LimiX-2 は、先行研究で得たスケーリング則に沿ってモデルとデータを拡大した LimiX ファミリーの新モデルである。Contextual Mechanism Networks（CMN） という設計思想を採り、Context-Conditional Masked Modeling（CCMM） で事前学習する。CMN は文脈内学習の軸足を「目的変数の予測」から「データ生成の仕組み全体の同時モデル化」へ移し、従来の表データ向けPFNが学ぶ $p(y \mid x, D_{\mathrm{context}})$ ではなく $p(x, y \mid D_{\mathrm{context}})$ を学ぶ。事前学習には構造的因果モデル（SCM）で作った合成データだけを使う。TabArena・TALENT・BCCO で、データセット個別のモデルや既存の表データ基盤モデルを上回った。さらに特徴量方向の注意が直接の因果関係を反映し、因果グラフの骨格を正確に復元できる。

「表データ」とは Excel や SQL のテーブルのような行と列のデータです。医療記録、与信、在庫など、業務データの多くがこの形をしています。

比喩: 答え欄だけ練習した受験生と、数独が解ける人

従来のやり方は、答え欄だけを練習してきた受験生に似ています。他の列を読んで目的の列を当てる訓練は積んでいても、問題文の側に穴があるときの補い方は知りません。

LimiX-2 が目指すのは、どのマスが隠されても周りから埋められる、数独の解き手です。目的の列を当てるのは「たまたま最後の列が隠れていた」特殊ケースにすぎません。どのマスでも埋められるなら、列と列の関係、つまり表の「仕組み」を理解しているはずです（§1）。

もう1つの前提として、LimiX-2 は新しい表に対して学習し直しません。手元の表を「文脈」として入力に渡し、残りの行をその場で推論します。LLM に例を見せて答えさせるのと同じ文脈内学習で、GBDT のようなデータセットごとの学習や調整は要りません（→決定木とGBDT）。

直感: 条件付き分布から同時分布へ

従来のPFN系が近似するのはこれです。

「文脈の表 $D_{\mathrm{context}}$ と、ある行の特徴量 $x$ があるとき、事前に決めた1列 $y$ がどうなりそうか」の確率です。

CMN が狙うのはこちらです。

「文脈の表があるとき、ある行の全列の値の組み合わせがどうなりそうか」です。これが分かれば、どの列が欠けても残りから埋められます。

注意（attention）は、ベクトルの内積で「どこにどれだけ注目するか」を決める仕組みでした（→Attention機構を1から理解する）。LimiX-2 ではこの内積が「列どうしの関係の強さ」を表し、後で見るように因果の骨格の読み出しにも使われます。

仕組み1: セルごとに1本のベクトル

LimiX-2 は、表のセル1つ1つに別々のベクトルを持たせます（§2）。1行を1本に圧縮すると、どの列がどの列に効くかという細かい構造が消えるからです。