論文解説: WearableQA — 実ユーザー500日分のウェアラブル記録でLLMの「健康推論」を測る
200人の実ユーザー・最長500日の日次ウェアラブル記録と血液検査から作った4,084問の10択ベンチマーク。「知識で答える」と「数列から読み取る」を分けて測ると、14モデルの正答率は19.6%〜72.9%まで割れ、Python実行を許すだけで20ポイント上がる。論文本文に沿って、問題の作り方と結果の読み方を1から解説する。
要点
- WearableQAは、200人の実ユーザーのウェアラブル時系列・血液バイオマーカー・属性から作った4,084問の10択問題です。
- 問題は「データ推論 vs 健康推論」「単一信号 vs 複数信号横断」の2軸で、16種類の問題型に分けられています。
- 二重グラウンディングは、査読済み文献に根拠を置く知見と、統計的に検証した集団パターンを組み合わせて問題を作ります。
- 集団由来の問題は、効果量・頑健性・真正性の3つの統計ゲートを通り、FDRが0.20以下のものだけ残ります。
- 14個のモデルの正答率は、10%のチャンスレベルに対して19.6%〜72.9%で、ほとんどが60%未満でした。
WearableQA: A Benchmark for Health Reasoning over Real-World Wearable Data
一次資料 — この記事の根拠
論文の発表 2026-09-04→この解説の公開 2026-09-13同月
WearableQA: A Benchmark for Health Reasoning over Real-World Wearable DataJi Soo Lee, Xilun Chen, Pierce Chuang ほか · 2026-09-04 · v1arXiv:2609.05405論文ページ·PDF原文の要旨（Abstract）を読む
Recent advances in wearable sensing enable continuous monitoring of physiological and behavioral signals, yet existing benchmarks rarely evaluate whether AI systems can reason over a real user's longitudinal wearable record. We introduce WearableQA, a benchmark comprising 4,084 10-option multiple-choice questions constructed from the wearable time series, blood biomarkers, and demographics of 200 real users, each with up to 500 days of daily measurements. WearableQA preserves authentic wearable distributions that include device noise and inter-individual variability. To evaluate distinct reasoning capabilities, we introduce 16 question types organized along two complementary axes: data versus health reasoning, which distinguishes computation over longitudinal measurements from physiological interpretation; and single- versus cross-signal reasoning, which separates reasoning about individual signals from the integration of multiple signals. To construct reliable questions at scale, we adopt a dual-grounding framework that combines literature-grounded physiological findings with statistically validated population-grounded physiological patterns. This enables the capture of meaningful relationships observed in real-world wearable data. Evaluation of 14 proprietary and open-source LLMs demonstrates that WearableQA effectively differentiates model capabilities, with performance ranging from 19.6% to 72.9% against a 10% chance baseline. Moreover, WearableQA remains far from solved: most models achieve accuracies below 60%. Overall, WearableQA provides a realistic and diagnostic benchmark for evaluating LLM reasoning over real-world wearable data.
この論文が問うていること
スマートウォッチは毎日、安静時心拍・睡眠・歩数・HRV（心拍変動）といった数字を吐き出します。それを何百日分も並べて「この人の最近の調子はどうか」「どの指標とどの指標が連動しているか」を判断するのは、医学知識とは別の能力です。知識は持っていても、ノイズだらけの数列から事実を取り出せないAIは、健康アシスタントとしては信用できません。
今回扱う論文は Meta と KAIST の研究者による "WearableQA: A Benchmark for Health Reasoning over Real-World Wearable Data"（arXiv:2609.05405）です。
論文の要旨を日本語でまとめると次のようになります。ウェアラブルセンシングの進歩で生理・行動信号を連続的に記録できるようになったが、既存ベンチマークは「実ユーザーの長期記録の上でAIが推論できるか」をほとんど評価していない。そこで著者らは、200人の実ユーザーのウェアラブル時系列（1人あたり最長500日の日次計測）・血液バイオマーカー・属性情報から作った4,084問の10択問題 WearableQA を提案する。デバイスノイズや個人差を含む実データの分布をそのまま保存している。推論能力を切り分けるため「データ推論 vs 健康推論」「単一信号 vs 複数信号横断」の2軸で16種類の問題型を設け、問題を信頼できる形で大量に作るために、査読済み文献に根拠を置く知見と統計的に検証した集団パターンを組み合わせる「二重グラウンディング」を採用した。14個の商用・オープンモデルを評価すると、正答率は10%のチャンスレベルに対して19.6%〜72.9%と大きく分かれ、ほとんどのモデルは60%未満に留まった、という内容です。
比喩: 教科書は読めるが、日記は読めない
保健の教科書を丸暗記した人を想像してください。「安静時心拍が上がると何を疑うか」には即答できます。ところが500日分の手書き日記を渡され「心拍が普段より明らかに高かった日はいつで、そのあと何日で戻ったか」と聞かれると、1ページずつめくって数える作業が必要になります。教科書の知識と、日記から事実を取り出す作業は、別のスキルです。
論文が「データ推論」と「健康推論」を分けたのは、混ぜて測るとどちらで失敗しているのか分からなくなるからです（§1）。従来の医療ベンチマーク（MedQA など）は教科書型の問題が中心で、既存の時系列ベンチマークは多くが合成信号で作られていた、と論文は整理しています（§2）。実ユーザーの長期記録と血液検査を組み合わせて両方を測るのが、この論文の立ち位置です。
直感: 2×2のマス目で「どこで転ぶか」を見る
問題は主に2軸で分類されます（§3.2）。
- 推論の種類: データ推論（トレンド・異常・逸脱回数・回復時間・信号間の関係など、数字そのものから答えが決まる）か、健康推論（予後の見立て・推奨・鑑別・表現型の判定など、生理学的解釈を重ねる）か
- 信号の複雑さ: 1つの指標だけ見ればよいか、2つ以上の指標を統合しないと答えられないか
内訳はデータ推論が約2.7k問、健康推論が約1.4k問。単一信号が約1.7k問、複数信号が約2.4k問です。これと直交する第3の軸として、正解が「文献由来」か「集団パターン由来」かのラベルも持ちます。問題は全て10択で、正解の位置は全体で均等に散らしてあります。
入力は1ユーザーあたり16種類の日次指標（安静時心拍・HRV・VO₂max、歩数・消費カロリー・運動回数と時間・METs、睡眠時間・効率・深睡眠とREMの割合・就寝時刻の規則性、ストレス平均）に、17項目の血液パネル（インスリン、HbA1c など）と年齢・性別・BMI・民族の属性が付きます（§3.1）。「同世代と比べてどうか」を問うために、5つの主要指標には別のより大きなコホートから計算したパーセンタイル参照値も添えられます。
仕組み: 正解を「主張」せず「計算」で作る
健康の問題を大量に作るとき一番怖いのは、「正解っぽいが根拠がない」問題が混ざることです。論文は二重グラウンディングでこれを防ぎます（§3.3）。
文献由来の問題は、消費者向けウェアラブルを使った観察研究のうち、曝露と結果の両方が手元のコホートで計算できるものだけを残し、PubMed などの一次記録で DOI/PMID/PMCID を照合して、11本のアンカー論文に絞っています。1つの関係につき独立した2本以上の同方向の研究を要求し、各知見は「閾値の原文」「コホート情報」「この研究が示していないこと」を明記したカードとして記録されます。注目すべきは、研究固有のカットオフ値はあえて持ち込まない判断です。閾値はコホート依存で、別の集団には移らないからです。
集団由来の問題は、文献が網羅していない関係を28日窓でコホートから直接掘り出し、3つの統計ゲートを全て通ったものだけ採用します。
- 効果量: 相関が で、窓の前半・後半で符号が一致。比較問題では1位と2位の差が0.15以上
- 頑健性: 日をブートストラップ再標本化（30回中80%以上で再現）しても、任意の1日を抜いても、基準窓を変えても結論が変わらない。境界付近は「不感帯」として捨てる
- 真正性: わざと別ユーザー同士を組み合わせた帰無テストで、帰無での出現率÷実際の出現率を経験的な偽発見率とし、 のものだけ残す
言い換えると、「他人のデータを混ぜても同じくらい出てくるパターンは、その人固有の関係ではなく偶然なので捨てる」というルールです。比が0.2以下なら「5回に4回以上は本物」と見なせます。
効果量ゲートの相関係数は、平均を引いた2本の時系列ベクトルの内積の向き（余弦）そのものです。次の図で2本のベクトルを回し、角度と内積・余弦の関係を確かめてください。
コメント
コメントにはログインが必要です