JA EN
用語集 › ruler

GLOSSARY

ruler

長文脈の実力を測る評価セット名。一般は定規

1本の論文題名に登場

定義

長文脈モデルの実力を測る合成ベンチマークで、NVIDIA のグループが公開したもの。干し草の中の針(needle-in-a-haystack)を拡張し、複数箇所の追跡・集約・多段質問といった課題を任意の長さで生成できる。公称の文脈長より実際に使える長さがずっと短いと示した点が重要で、一般語では定規を指す。

論文題名での読み方

固有名。長文脈評価