2026-09-14·★ 会員·論文·18分で読めます

論文解説 MetroLLM-Bench — 駅の券売機を LLM に任せると何点取れるか。2.6GBの4Bモデルが GPT-5.6 に並んだ理由と、27Bで微調整が逆効果になった理由

交通系券売機の「判断部分」を言語モデルに置き換えたら何点取れるかを測る955ケースのベンチマーク。4BのQLoRA生徒モデルがTier 1でGPT-5.6を上回った結果と、モデルが大きいほどPEFTの効きが減って27Bでマイナスに転じる「容量の天井」を、論文本文だけを根拠に読み解く。

要点

MetroLLM-Benchは、実在する6つの地下鉄システム(37〜414駅)を題材にした11カテゴリ955ケースのベンチマークである。
モデルは最大20ラウンドで6つのツールを呼び、券売機がそのまま描画できる終端状態をsubmit_assistant_stateで提出する。
採点は決定論的な14項目のTier 1と意味品質の8項目のTier 2の2層で、中心の比較はTier 1で行う。
717ケースの学習パーティションから得た600例でQLoRA(rank 16)により生徒モデルを作り、評価用に238ケースを確保した。
PEFTで学習した4BのQwen 3.5生徒モデルはTier 1でGPT-5.6の両ティアを上回り(91.3対90.6・90.0)、Q4_K_Mで2.6GBである。

#benchmark #agent #tool-use #peft #qlora #llm-as-judge #paper-review

対象textタスクforecasting

MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes

一次資料 — この記事の根拠

論文の発表 2026-09-09→この解説の公開 2026-09-14同月

MetroLLM-Bench: Evaluating Language Models as Transit Kiosk RuntimesRemco Hendriks · 2026-09-09 · v1arXiv:2609.10016論文ページ·PDF

原文の要旨（Abstract）を読む

We introduce MetroLLM-Bench, a 955-case benchmark for testing language models as the policy layer of a transit kiosk. It covers six real metro systems, ranging from 37 to 414 stations, and eleven categories that include routing, fare calculation, disruptions, accessibility, and adversarial input. In each case, the model must call structured tools and submit a machine-renderable terminal state containing an outcome, a per-ticket fare quote when applicable, and a kiosk action. Fourteen deterministic scoring components form Tier 1; eight semantic-quality components form Tier 2, six of which use a language-model judge. We report Tier 1 and the combined score of both tiers. A stratified 75/25 split reserves 717 cases for training-data generation and 238 for held-out evaluation. We evaluate twenty-six models from six vendors, of which twenty-three are ranked. On the held-out partition, a 4B Qwen 3.5 student trained through parameter-efficient fine-tuning (PEFT) exceeds both GPT-5.6 tiers on Tier 1 (91.3 against 90.6 and 90.0) and matches GPT-5.4 full at maximum reasoning effort (91.4), with a 2.6 GB Q4_K_M footprint. Larger 9B and 27B students provide no further Tier 1 improvement over the 4B student at this training scale. Across the four Qwen sizes, the PEFT gain over the corresponding base model decreases from +7.03 points at 2B (three training seeds) to -0.91 at 27B; every seed shows the same direction at every size. A deterministic rule-based baseline reaches 84.6 on Tier 1, with the remaining language-model advantage concentrated in policy adaptation, compound scenarios, accessibility, and temporal reasoning. Muse Glimmer 30B leads the composite ranking, and serving configuration alone moves the Qwen 3.5-to-3.8 comparison by 2.7 Tier 1 points. The benchmark, harness, reproduction guide, and fine-tuned students are released at https://github.com/continker/metrollm-bench.

券売機の中身を「コード」から「文章」に置き換える

駅の券売機は、運賃表・路線図・運休時の案内をプログラムされた状態機械として抱えています。駅が1つ閉鎖されるたびに、チケット・パッチ・回帰テスト・リリース枠という開発サイクルを通す必要があります。

2026年9月公開の論文 "MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes"（Remco Hendriks, arXiv:2609.10016）は、この判断部分を言語モデルに置き換える案を測定しました。モデルは自然言語のシステム説明書（framebook）を読み、構造化ツールを呼び、券売機がそのまま描画できる終端状態を出力します。

アブストラクトを要約するとこうです。MetroLLM-Bench は実在する6つの地下鉄システム（37〜414駅）を題材にした955ケースのベンチマークで、経路・運賃・運休・アクセシビリティ・敵対的入力など11カテゴリを含む。各ケースでモデルは構造化ツールを呼び、結果（outcome）・チケットごとの運賃見積・券売機アクションを含む機械描画可能な終端状態を提出する。採点は決定論的な14項目（Tier 1）と意味品質の8項目（Tier 2、うち6項目はLLM審査）の2層。層別75/25分割で717ケースを学習データ生成用、238ケースを評価用に確保。6ベンダー26モデルを評価し23モデルをランク付けしたところ、PEFTで学習した4BのQwen 3.5 生徒モデルが Tier 1 で GPT-5.6 の両ティアを上回り（91.3 対 90.6・90.0）、最大推論努力の GPT-5.4 full（91.4）に並んだ。フットプリントは Q4_K_M で 2.6GB。9Bと27Bの生徒は4Bを超えず、PEFTの利得は2Bの+7.03点から27Bの−0.91点まで単調に減った。決定論的なルールベース基準は Tier 1 で 84.6 に達し、残るLLMの優位は方針の適応・複合シナリオ・アクセシビリティ・時間推論に集中する。総合順位は Muse Glimmer 30B が首位で、サービング設定だけで Qwen 3.5 と 3.8 の比較が 2.7 点動いた。

比喩: マニュアルを渡されて窓口に立つ新人

あなたは今日から駅の窓口に立つ新人です。手元には「この駅の用語・通貨・営業時間・地元のルール」を書いた1冊のマニュアル（framebook）と、6つの内線電話（経路・運賃・駅設備・路線情報・運休情報・規則集の各係）があります。お客さんが来たら必要な係に電話し、最後に「この経路・この運賃・この案内板を出す」という決まった書式の伝票を提出します。書式が間違っていれば端末が受け付けず、書き直しです。

MetroLLM-Bench が測るのは、この新人がどれだけマニュアルどおりに仕事をこなせるかです。論文は「路線網を事前学習で覚えているか」ではなく「与えられたルールに従えるか」を測る設計だと明言しています（§2.1）。

ベンチマークの中身: 6都市・11カテゴリ・955ケース（§2.1）

対象は MARTA（アトランタ、38駅）、ドーハメトロ（37）、BART（サンフランシスコ、50）、台北MRT（107）、CTA（シカゴ、142）、北京地下鉄（414）。運賃モデルは均一・距離制・例外付き均一の3種、通貨は4種です。

カテゴリは A 経路、B 運賃、C 運休、D アクセシビリティ、E 文化的ルール、F 方針変更、G マルチターン、H 敵対的入力、I 時間推論、J ツール幻覚、K 複合ストレスの11種。ケースはテンプレートと各システムの駅ペア・運休メタデータから cases/generator.py が生成し、経路と運賃の正解はベンチマーク内のグラフと運賃エンジンで機械的に導きます。独立した注釈者が50ケースの正解キーを実データに対して検証しています（付録B.7）。

1ケースの流れ: 6つのツールと「提出」ツール（§2.2）

モデルは framebook とシナリオのイベントから組み立てたプロンプトで ReAct 形式のループに入り、最大20ラウンドで route_planner、fare_calculator、station_info、line_info、disruption_feed、knowledge_base の6つを呼び、最後に submit_assistant_state で終えます。

この終端ツールが券売機の描画契約です。提出には5つの結果（route_and_fare_ready、advisory_only、service_unavailable、request_declined、policy_answer_only）のいずれかと、理由コード付きの券売機アクション、乗客向けメッセージが必須で、運賃が出せる結果にはチケットごとの明細が要ります。モック・サーバーは Pydantic で構造を検証し、不整合なら HTTP 422 をフィールド単位のエラー付きで返し、モデルは残りラウンド内で直します。

for round in range(20):
    call = model.next_action(prompt, history)        # ツール呼び or 提出
    if call.name != "submit_assistant_state":
        history.append(tools[call.name](**call.args)) # 6ツールのどれか
        continue
    ok, errors = validate(call.args)                  # Pydantic 検証
    if ok: break                                      # 終端状態が確定
    history.append({"http": 422, "errors": errors})   # 直させる

図1の例では、BART の Transbay Tube 閉鎖中の乗客に対し、モデルが disruption_feed で閉鎖を読み、route_planner で West Oakland 止まりに再計画し、無料のバス代替を案内する advisory_only を提出します。

採点: 決定論的な Tier 1 と、LLM審査の Tier 2（§2.3・§2.4）

Tier 1（14項目・決定論的）: 経路と運賃の正しさ、ツール呼び出しの正確さと幻覚なし、状態の妥当性、結果と理由コード、運休検知、案内の発行など。モデル審査なしで計算でき、PEFT の報酬信号も兼ねる。
Tier 2（8項目・意味品質）: framebook 準拠、案内内容、方針の認識、安全性、アクセシビリティ、時間的正確さ、データ捏造なし、スコープ遵守。うち6項目は Claude Haiku 4.5 が審査。

論文は「見出しの主張は Tier 2 だけには依拠しない」と繰り返し述べ、中心の比較は Tier 1 で行います。LLM-as-a-Judge の癖が結論を左右しないための分離です。審査員は100ペアで人間と突き合わせ、著者と審査員の一致は κw = 0.53で、著者と独立した第2注釈者の一致（κw = 0.25）を上回りました。偏りに強い Gwet の AC2 では3組すべて 0.81〜0.89 です。

生徒モデルの作り方: QLoRA rank 16（§3.1・§4）

教師は Qwen 3.5 の 27B 密モデルと 35B-A3B MoE。717ケースの学習パーティションだけで教師を走らせ、Tier 1 が90%以上のトレースを重複除去して600例を得ます。評価用の238ケースは教師プールに入りません。生徒は 2B・4B・9B・27B の4サイズ、手法は QLoRA（4ビット量子化した土台に低ランクのアダプタを載せる）です。

W = W_0 + BA, \qquad B \in \mathbb{R}^{d \times r},\ A \in \mathbb{R}^{r \times k},\ r = 16

(1)

言い換えると、元の重み $W_0$ は凍結したまま、幅16の細い行列2枚（ $B$ と $A$ ）の積だけを学習して足し込む、ということです。 $d$ と $k$ は元の行列の縦横、 $r$ はアダプタの幅です。「幅16で足りるのか」は、下の図で誤差とパラメータ数の関係を動かすと体感できます。

FIG 1行列を rank-r で再構成したときの誤差とパラメータ数。QLoRA が学習するのは W そのものではなく、この r 本分の差分だけ