ABテストのサンプル数計算に便利!サンプル数試算ツール

マーケティング

ABテストのサンプル数を試算したい時に便利な、サンプル数計算ツールです。「ABテストを実施する施策担当者」「ABテストの検証計画を任されたデータ分析者」に利用されることを目指し作成しました。各パラメータを入力し「計算」を押すと、A群・B群に同数サンプルを割り振る場合のサンプル数が表示されます

■ABテストのサンプル数試算ツール

現状と改善後の目標CVRを以下の例を参考に入力してみましょう

*JavaScriptに標準の逆正規分布関数はないため、近似関数を使用しており多少ブレがあります

よくある質問

Q1: このサンプル数計算ツールは何に使えますか? ▶︎

このツールはABテストを行う際に、統計的に有意な結果を得るために必要なサンプル数(ユーザー数)を計算するためのものです。マーケティング施策やUI/UX改善の効果測定を行うための適切なサンプル数を事前に把握することができます。

Q2: 各入力パラメータの意味を教えてください ▶︎
  • 現在のコンバージョン率(CVR1): 現状の施策やデザインにおけるコンバージョン率(%)を入力します。例:現在のランディングページのコンバージョン率が2%なら「2」と入力。
  • 目指すコンバージョン率(CVR2): 改善後に期待するコンバージョン率(%)を入力します。例:改善でコンバージョン率を2.5%に上げたいなら「2.5」と入力。
  • 有意水準: 結果が偶然ではなく統計的に有意であると判断する基準(%)です。通常は5%(95%の確信度)を使用します。
  • 検出力: 実際に効果がある場合にそれを検出できる確率(%)です。通常は80%を使用します。
Q3: 計算結果のサンプル数は多すぎると感じました。どうすれば減らせますか? ▶︎

必要なサンプル数を減らすには以下の方法があります:

  • より大きな効果を目指す(現在のCVRと目指すCVRの差を大きくする)
  • 有意水準を緩める(例:5%から10%に変更)
  • 検出力を下げる(例:80%から70%に変更)

ただし、これらの調整は統計的信頼性とのトレードオフになるため、注意が必要です。

Q4: ABテストの期間はどのように決めるべきですか? ▶︎

ABテストの期間は、1日あたりのトラフィック量と必要なサンプル数から算出できます:

テスト期間(日数) = 必要なサンプル数 ÷ (1日あたりのユニークユーザー数 × ABテストに割り当てる割合)

例えば、必要サンプル数が10,000人で、1日あたり1,000人のユニークユーザーがあり、そのうち50%をABテストに割り当てる場合:
10,000 ÷ (1,000 × 0.5) = 20日

また、曜日による変動を考慮して、最低でも1〜2週間のテスト期間を設けることをおすすめします。

Q5: 計算の精度はどの程度ですか? ▶︎

ツールの説明にもある通り、JavaScriptには標準の逆正規分布関数がないため、近似関数を使用しています。そのため、専門的な統計ソフトウェアと比較して若干の誤差が生じる可能性がありますが、実用上は十分な精度を持っています。

より厳密な計算が必要な場合は、RやPythonなどの統計処理に特化した言語・ツールの使用をご検討ください。

Q6: A群とB群のサンプル数が同じなのはなぜですか? ▶︎

このツールは、A群(既存版)とB群(改善版)に均等にトラフィックを分配する前提で計算しています。これは統計的検出力を最大化するための標準的なアプローチです。

実務では、リスク低減のために不均等な配分(例:A群に70%、B群に30%)を行うこともありますが、その場合は必要サンプル数が増加します。不均等配分の場合は、計算結果を参考に調整してください。

Q7: ABテストで気をつけるべき落とし穴はありますか? ▶︎

ABテスト実施時によくある落とし穴には以下があります:

  • 早期終了: 途中結果に惑わされて十分なサンプル数に達する前にテストを終了すること
  • 複数指標の問題: 多くの指標を同時に測定すると、偶然による有意差が出やすくなる
  • セグメント過剰分析: 結果を様々な切り口で分析しすぎると、偶然の相関を見つけてしまう可能性がある
  • 外部要因の影響: 季節性やニュースなどの外部要因がテスト結果に影響する可能性

これらを避けるためには、事前に評価指標と必要サンプル数を決め、テスト計画に忠実に従うことが重要です。

タイトルとURLをコピーしました