統計的検定とABテスト — p値の使い方と誤用

同じ画面を2つ並べても数字は必ずずれます。そのズレを「偶然のブレ何個分か」に換算するのが検定であり、p値です。帰無仮説の作法から、検出力・逐次検定・多重比較という3つの事故まで、前提知識ゼロから積み上げます。

ボタンを変えたらクリック率が上がった、は本当か

購入ボタンをAとBの2種類用意して、訪問者を半分ずつ振り分けました。結果はAが5.0%、Bが5.4%。0.4ポイントの改善です。会議で「Bを採用しましょう」と言う前に、確かめることがひとつあります。まったく同じ画面を2つ用意して振り分けても、クリック率はぴったり同じにはならない、という当たり前の事実です。

公平なコインを100回投げる実験を、2セットやってみてください。両方とも表がちょうど50回、というほうが珍しい。48と53、45と52 — 中身が完全に同じでも、差は必ず出ます。ですから「差が出た」こと自体は、何の証拠にもなりません。問うべきは差の有無ではなく、「この大きさの差が、中身が同じでも起きてしまう確率はどれくらいか」です。

統計的検定は、この問いに数値で答えるための道具です。そしてp値は、その答えそのものです。

帰無仮説は「無罪推定」

検定の作法は背理法です。まず、自分が信じたいことの逆を仮定します。

• 帰無仮説 $H_0$: AとBの真のクリック率は同じ（差はゼロ）
• 対立仮説 $H_1$: 同じではない

そのうえで「$H_0$ が正しいとしたら、今回のデータはどれくらい珍しいか」を計算します。珍しすぎるなら、仮定のほうがおかしかったと判断して $H_0$ を捨てる。これが検定の全体像です。

裁判に似ています。被告はまず無罪と仮定され、証拠が「無罪だとしたらあまりに不自然」なときにだけ有罪になる。そして無罪判決は「無実の証明」ではなく、「有罪と言い切るには証拠が足りない」という意味でしかありません。検定も同じで、$H_0$ を棄却できなかったことは「差がない」の証明ではありません。ここを取り違えるのが、実務でいちばん多い事故です。

p値の定義はこうです。

p値 = 帰無仮説が正しいと仮定したとき、観測されたのと同じかそれ以上に極端な差が、偶然だけで得られる確率

条件の向きに注意してください。p値は「$H_0$ を仮定したときのデータの珍しさ」であって、「データを見たあとで $H_0$ が正しい確率」ではありません。p = 0.03 は「Bが優れている確率が97%」ではないのです。前者から後者を出すには事前確率が必要で、それを正面からやるのがベイズの考え方です。

揺らぎの大きさを測る

「珍しさ」を計算するには、まず「偶然だけでどれくらいブレるか」の物差しが要ります。クリック率 $\hat p$ を $n$ 人から推定したときのブレ幅（標準誤差）は次の式です。

$$\mathrm{SE}(\hat p)=\sqrt{\frac{p(1-p)}{n}}$$

$p$ は真のクリック率、$n$ は測った人数。要するに「n人に見せて測った率は、毎回だいたいこれくらいの幅でふらつく」ということで、この幅は $n$ の平方根に反比例して縮みます。精度を2倍にしたければ人数は4倍要る、という残酷な式です（この $1/\sqrt{n}$ の遅さはモンテカルロ法の収束と同じ根っこを持ちます）。

2群の差を、このブレ幅の何個分かに換算したものが検定統計量です。

分子は観測された差、分母は「$H_0$ が正しいとき、その差が偶然にとる標準的な大きさ」です。$\bar p$ は両群をまとめて計算した共通のクリック率で、$H_0$ の下では同じはずだからまとめて推定します。つまり式(1)は「出た差は、偶然のブレ何個分か」を計算しているだけです。$|z|$ が約1.96を超えると、両側のp値が0.05を切ります。

なぜ1.96なのでしょうか。$H_0$ の下で $z$ は標準正規分布 — 平均0・標準偏差1の釣鐘型 — におおよそ従います。この分布では、値が $\pm 1.96$ の内側に収まる確率がちょうど95%です。つまり「両側5%」という慣習は、釣鐘の両裾を2.5%ずつ切り落とした線に対応しています。そして5%という数字自体に自然界の根拠はありません。20回に1回騙されるくらいなら許容できる、という20世紀前半の慣習が定着しただけです。閾値は目的に応じて動かしてよいもので、動かしてはいけないのは「データを見てから動かすこと」のほうです。

ここから先は「使い方」ではなく「誤用」の話

ここまでが教科書1章分です。しかし現場で事故になるのは、この式の計算ミスではありません。手元のデータを見てから、都合のいい切り口・都合のいいタイミング・都合のいい指標を選んでしまうことです。これは統計特有の問題というより、機械学習でおなじみの構図 — 手元のデータに合わせ込むほど本番で外す — と同じものです。