KPI・統計で意思決定

良いKPIの設計原則（SMARTフレームワーク）

KPI（重要業績評価指標）は「具体的・測定可能・達成可能・関連性がある・期限がある」の5条件を満たすことが重要。「売上を増やす」はKPIではなく目標。「今四半期末までに新規顧客獲得数を前四半期比20%増にする」がKPI。先行指標（Leading KPI：活動量）と遅行指標（Lagging KPI：結果）のバランスも設計のポイント。

p値と有意水準（偶然じゃない証拠）

p値は「もし効果がゼロなら、今回観測した差以上の差が偶然起きる確率」。p < 0.05（5%）なら「偶然の確率が5%以下＝有意差あり」と判断する慣習がある。p値が小さいほど「偶然ではない」証拠が強いが、p < 0.05は「絶対に正しい」ではなく「偶然の可能性が低い」という意味。ビジネスでは効果の大きさ（効果量）もセットで評価する。

サンプルサイズと検出力

A/Bテストで「差を検出できるか」はサンプルサイズに依存する。小さすぎると本当の差があっても見逃す（第II種の誤り）。必要サンプル数は「検出したい最小効果量・有意水準・検出力（通常80%）」の3つから計算する。「1週間テストして有意差なし」は「効果がない」ではなく「サンプルが足りなかった」かもしれない。