用語集 › resolve
GLOSSARY
resolve
解決する。課題を片づける
3本の論文題名に登場
定義
提示された課題を最後まで片付けて、要求どおりの状態にすることを指す語。ソフトウェア工学の評価では、GitHub の issue に対する修正がテストを通ったかで判定され、resolve rate が指標名になる。もっともらしい出力ではなく通るか否かの二値で測られる点が特徴。
論文題名での読み方
SWE-bench系で頻出
この語が出てくる解説
- エージェント評価ベンチ地図 — SWE-bench・GAIA・OSWorldは何を測るかSWE-bench: Can Language Models Resolve Real-World GitHub Issues?
- エージェント評価 — ベンチとハーネスの作法SWE-bench: Can Language Models Resolve Real-World GitHub Issues?