GLOSSARY

gaia

AIアシスタントの実力を測るベンチマーク

1本の論文題名に登場

定義

汎用AIアシスタントの実力を測るために作られたベンチマークで、人間には素直だが現行モデルには難しい、日常的な問いを集めている点が特徴。答えるにはウェブ閲覧・ファイル読解・マルチモーダル処理・複数手順の組み立てが必要で、単一の知識問答では解けない。正解が一意に定まる形式なので採点は自動化できる。

固有名。汎用助手の評価