safety

定義

システムが有害な出力や危険な振る舞いをしない性質のこと。学習時の調整と実行時の検査の両方で扱われ、拒否すべき要求への対応や誤情報の抑制が典型的な論点になる。悪意ある攻撃者を想定する security とも、意図に沿わせる alignment とも重なるが同一ではない。

論文題名での読み方

AI安全性の主題

この語が出てくる解説

• 報酬ハッキング — 測り方を決めると、そこが壊れるConcrete Problems in AI Safety