real-world

定義

実験室で整えた条件ではなく、実際の運用環境や実データを対象とすることを示す語。分布のずれ・欠損・想定外の入力・遅延制約など、ベンチマークには現れない要因に耐えるかが焦点になる。ベンチマークの好成績が実環境で再現しないことは多いので、検証の規模と期間を確認したい。

論文題名での読み方

実環境での有効性を示す

この語が出てくる解説

• 論文解説: WearableQA — 実ユーザー500日分のウェアラブル記録でLLMの「健康推論」を測るWearableQA: A Benchmark for Health Reasoning over Real-World Wearable Data
• エージェント評価ベンチ地図 — SWE-bench・GAIA・OSWorldは何を測るかSWE-bench: Can Language Models Resolve Real-World GitHub Issues?
• エージェント評価 — ベンチとハーネスの作法SWE-bench: Can Language Models Resolve Real-World GitHub Issues?