issues

定義

手法や設定が抱える欠点・不具合を指す語。タイトルに現れる場合、新手法の提案ではなく、既存の枠組みの問題点を分析し指摘する立場の論文であることが多い。評価指標の欠陥やデータ汚染を扱うこの種の研究は、性能向上を主張する論文の前提そのものを検証する役割を持つ。

論文題名での読み方

欠点を挙げる論文に多い

この語が出てくる解説

• エージェント評価ベンチ地図 — SWE-bench・GAIA・OSWorldは何を測るかSWE-bench: Can Language Models Resolve Real-World GitHub Issues?
• エージェント評価 — ベンチとハーネスの作法SWE-bench: Can Language Models Resolve Real-World GitHub Issues?