terminal-bench

定義

コマンドライン端末上の実作業をエージェントに解かせ、達成できたかを自動採点する評価セットの名称。隔離した環境で実際にコマンドを実行させ、最終的な状態がテストを通るかで判定するため、文章の生成能力ではなく道具を使って環境を変える能力が測られる。長い手順のどこか一つを誤ると失敗する点が難しさの本質。

論文題名での読み方

固有名。ベンチ名

この語が出てくる解説

• 論文解説: StateM — モデルの重みを1gも動かさず、Terminal-Bench 2.1で95.3%・実行費15ドルへStateM: Reaching 95.3% Raw Accuracy, or a \$15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling