live

定義

固定されず継続的に更新されることを示す語。LiveBench のような評価では新しい問題を定期的に追加し、モデルが学習データとして問題を見てしまう汚染の影響を抑える狙いがある。継続更新のため過去のスコアと単純比較できない場合があり、どの版で測ったかの明記が要る。

論文題名での読み方

LiveBench＝常時更新評価

この語が出てくる解説

• 論文解説: PILOT in the Loop — 走っている最中に直す「ライブ自己改善」PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents
• 論文解説: TLive-Omni — ライブ配信を「見て・聞いて・何分何秒かまで答える」オムニモーダルモデルTLive-Omni: An Omni-Modal Understanding Model for E-Commerce Live Streaming