real-world

定義

実験室で整えた条件ではなく、実際の運用環境や実データを対象とすることを示す語。分布のずれ・欠損・想定外の入力・遅延制約など、ベンチマークには現れない要因に耐えるかが焦点になる。ベンチマークの好成績が実環境で再現しないことは多いので、検証の規模と期間を確認したい。

論文題名での読み方

実環境での有効性を示す

この語が出てくる解説

• エージェント評価ベンチ地図 — SWE-bench・GAIA・OSWorldは何を測るかSWE-bench: Can Language Models Resolve Real-World GitHub Issues?
• エージェント評価 — ベンチとハーネスの作法SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
• LLMセキュリティ — プロンプトインジェクションと防御Not What You've Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection