ragas

定義

RAG（検索拡張生成）の出力品質を自動評価するための枠組みの名前。忠実性・回答の関連性・検索文脈の適合といった観点を指標として定義し、正解文を人手で用意しなくても採点できる点が特徴。採点自体に言語モデルを使うため、判定器の癖が結果に乗ることは意識しておく。

論文題名での読み方

固有名。RAG評価ツール

この語が出てくる解説

• RAG評価の実務 — 「なんとなく良い」を数字にするRAGAS: Automated Evaluation of Retrieval Augmented Generation