gsm-symbolic

算数問題GSM8Kを記号的に変形したベンチ名

1本の論文題名に登場

定義

算数の文章題ベンチマーク GSM8K を記号テンプレート化し、名前や数値を差し替えた変種を自動生成する評価用データ集の名前。表面的な数字が変わるだけで正答率が落ちるかを見ることで、手順を理解しているのか記憶や表層の一致に頼っているのかを切り分ける狙いがある。

固有名。推論力の検証