A/Bテスト 有意差計算

訪問数とCV数を入力するだけでp値・信頼区間・必要サンプルサイズを即計算

A/B 両群のデータ入力

Aコントロール群
CVR: 2.00%
Bテスト群
CVR: 2.40%
CVR 比較
A
2.00%
B
2.40%
✓
統計的に有意です
p値 = 0.0064　（有意水準 5%・両側検定）
検定結果
CVR A
2.00%
CVR B
2.40%
リフト率
+20.0%
p値
0.0064
Z統計量
1.9283
95% 信頼区間（差）
+0.113pp 〜 +0.687pp
有意水準1%でも有意です（非常に強いエビデンス）

95% 信頼区間の解釈

B群のCVRはA群に対して、95%の確率で+0.113pp 〜 +0.687ppの範囲にあると推定されます（pp = パーセンテージポイント差）。

区間全体がプラス → B群の改善効果は確実と考えられます。

二項比率の差のZ検定（両側）。正規分布CDF: Abramowitz & Stegun近似を使用。

使い方ガイド

  1. 1
    A群・B群のデータを入力
    「有意差検定」タブで、コントロール群（A）とテスト群（B）それぞれの訪問数とCV数を入力します。デフォルト値で動作確認できます。
  2. 2
    有意水準を設定
    一般的なWebテストでは5%（標準）、重要な意思決定には1%（厳格）を選びます。信頼区間は90/95/99%から選択できます。
  3. 3
    結果を確認
    p値・Z統計量・リフト率・信頼区間が表示されます。「統計的に有意です」と表示されれば差は偶然でない可能性が高いです。
  4. 4
    サンプルサイズを事前計算
    テスト前に「サンプルサイズ」タブで必要訪問数を計算しましょう。テスト期間の目安が立てられます。

よくある質問

Q. ABテストの有意差とはどういう意味ですか？
A. 「A群とB群に差がない」という仮説（帰無仮説）を棄却できる統計的な根拠があることを意味します。p値が有意水準（通常5%）未満であれば、観測された差が偶然生じた確率が低いと判断します。
Q. p値が0.05未満でも採用しない方がいいですか？
A. 統計的有意 ≠ 実務的に重要です。リフト率が0.1%でも大規模なトラフィックがあればp値は小さくなります。信頼区間の幅と実際の効果量（pp差）を合わせて判断することが重要です。
Q. 必要なサンプルサイズはどう決めますか？
A. 「サンプルサイズ」タブで現在のCVRと検出したい最小改善効果（例: 20%改善）を入力すると1群あたりの最低訪問数が計算されます。日次訪問数で割れば必要なテスト期間がわかります。
Q. テスト中に毎日p値を確認してもいいですか？
A. 推奨しません。「p < 0.05になったら止める」という方法はPeeking問題と呼ばれ、偽陽性（実際には差がないのに有意と判断）が大幅に増えます。事前に決めたサンプルサイズに達してから判断してください。
Q. カイ二乗検定との違いは何ですか？
A. 本ツールは二項比率の差のZ検定（両側）を使用しています。2×2の分割表に対するカイ二乗検定と数学的に等価であり、Z統計量の二乗がカイ二乗値に対応します。

関連ツール

📈 NPS スコア計算🔻 ファネル コンバージョン計算📊 カイ二乗検定