livecodebench

LiveCodeBench＝コード生成能力の評価データ集

1本の論文題名に登場

定義

競技プログラミングサイトから新しい問題を継続的に取り込み、コード生成能力を測るベンチマーク。問題に公開日が付くため、学習データ締切より後の問題だけで評価してデータ汚染を排除できる。生成だけでなく自己修正や実行結果予測など複数の設定を含む。

新問題で汚染を回避