harnesses

定義

評価やエージェント実行を自動で回すための土台となる実装のこと。課題の読み込み、プロンプトの組み立て、モデル呼び出し、出力の抽出、採点までを担い、ここでの細かな取り決めが最終的な数値を左右する。ベンチマークが「何を測るか」を定めるのに対し、ハーネスは「どう測るか」を担う層で、再現性はこちらに強く依存する。

論文題名での読み方

ベンチを動かす仕組み

この語が出てくる解説

• 論文解説: StarHarness — モデルを凍結したまま「ハーネス」を進化させるStarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments