terminal-bench

端末操作の能力を測るベンチマークの名

1本の論文題名に登場

定義

コマンドライン端末上の実作業をエージェントに解かせ、達成できたかを自動採点する評価セットの名称。隔離した環境で実際にコマンドを実行させ、最終的な状態がテストを通るかで判定するため、文章の生成能力ではなく道具を使って環境を変える能力が測られる。長い手順のどこか一つを誤ると失敗する点が難しさの本質。

固有名。ベンチ名