starharness

定義

評価やエージェント実行を回すための基盤に論文が付けた名称。harness は課題の読み込みからモデル呼び出し、環境の用意、採点までを自動で回す実装のことで、同じベンチマークでも harness が違えば数値が動く。モデルでもデータでもなく実行環境そのものを指す名である点が要点で、比較する際は実装をそろえる必要がある。

論文題名での読み方

固有名。評価基盤の名

この語が出てくる解説

• 論文解説: StarHarness — モデルを凍結したまま「ハーネス」を進化させるStarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments