用語集 › factscore
GLOSSARY
factscore
FactScore。文を細かく分けて事実性を採点
1本の論文題名に登場
定義
長文の生成を最小単位の事実に分解し、それぞれが知識源に裏付けられているかを判定して、支持された割合を返す評価手法。文単位でまとめて正誤を付ける方式より細かく、大部分は正しいが一箇所だけ捏造がある文を適切に減点できる。述べた内容の正しさ(精度)を測る指標であり、述べるべきことの網羅性は測らない。
論文題名での読み方
事実性の自動評価指標
GLOSSARY
FactScore。文を細かく分けて事実性を採点
1本の論文題名に登場
長文の生成を最小単位の事実に分解し、それぞれが知識源に裏付けられているかを判定して、支持された割合を返す評価手法。文単位でまとめて正誤を付ける方式より細かく、大部分は正しいが一箇所だけ捏造がある文を適切に減点できる。述べた内容の正しさ(精度)を測る指標であり、述べるべきことの網羅性は測らない。
事実性の自動評価指標