harness

定義

評価や実行のための土台となる仕組み。評価ハーネスは、課題の読み込み・プロンプト整形・出力の採点までを統一手順で行い、モデル間の比較を成立させる。同じベンチマークでもハーネスの実装差で数値が動くため、点数を比べるときは同じハーネスかを確認する必要がある。

論文題名での読み方

評価ハーネス=測る土台

この語が出てくる解説

• 論文解説: Retrieval-Augmented Skill Optimization via Cross-Harness Adaptation — 他人のスキルを借り、自分の環境の言葉に書き直すRetrieval-Augmented Skill Optimization via Cross-Harness Adaptation
• 論文解説: WHALE — モデルの重みとハーネスを交互に鍛えるWHALE: A Simple Recipe for Joint Harness-Weight Optimization
• 論文解説: HarnessDev — LLMは自分のエージェント・ハーネスを作り、育てられるかHarnessDev: Can LLMs Create and Evolve Their Own Agent Harness?