longhorizon-harness

定義

何十手も続く長期タスクをモデルに実行させ、記録・採点するための評価用実行環境の名前。harness は評価そのものではなく、環境の起動・ツール呼び出し・打ち切り・ログ収集といった周辺の足回りを指す語である。単発の質問応答ベンチマークと違い、途中で状態や方針が崩れないかを測る点に主眼がある。

論文題名での読み方

固有名。長期評価の基盤

この語が出てくる解説

• 論文解説: LongHorizon-Harness — 長時間タスクは「実行」ではなく「状態管理」で解くLongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks