3.【母数】A/Bテストをする際、判断するのに十分なデータが蓄積されていますか?

A/Bテスト実行時、クリック数は担保できていますか?

統計学的には、母数は2,000取るのが望ましいと言われています。
ただ、2000の母数を取る前に明確な差が出る場合もありますので、その段階で成否を判断することも可能です。

訂正(2014/10/17):「統計学的には」という箇所に誤りがあるとご指摘頂きましたので訂正致します。
2000母数を取ると望ましいというのは、A/Bテストの統計データではなく、世論調査を行う際のサンプリング数の判断目安を根拠として明記しておりました。
一般的に統計処理方法に基づき1万人の世論調査に必要なサンプリング数は「1万人で1,300人、10万人でも1,500人」と計算できます。また、それ以上母数が増えた場合もサンプリング数は2000人以下でという結果になっています。

設定するゴールによって必要クリック数は変わってくるので、ここでは仮にゴールをコンバージョンと位置づけてみましょう。

コンバージョン(CV)数の母数とコンバージョン率(CVR)により必要なデータ数が違ってきます。

CVRが10%と仮定した場合

CV数が10の場合、クリック数は100と予想できます。
A/Bテストを行うので、測定対象は2つある前提です。
ですので、必要なCV数もクリック数も2倍となります。

200クリックで明確な判断ができれば、そこで次のテストに入ります。

CVRが1%と仮定した場合

CV数が10の目安のクリック数は1,000と予想できます。
こちらも対象が2つある前提なので、CV数もクリック数も2倍となります。
ですので、2000クリックで明確な判断ができれば、そこで次のテストに入ります。

ホームページの内容にもよる部分も大きいですが、AとBのパターンの明確な違いを引き出せるよう常に考えなければなりません。

時に少ないサンプル数でも判断ができるぐらい明確な差が出る場合もあります。
ある程度(※200クリック以上)のサンプル数があるならば、次の仮説を立て次のA/Bテストに入ってしまいましょう。

まとめ

繰り返しになりますが、広告A/Bテストの結果に確信を持つためには下記3つのポイントを抑えましょう。

1.仮説
2.対象
3.母数

テストに仮説を立て、ストーリーを作りましょう。
対象となるものができる限りぶれないよう対象を絞り込みましょう。
判断するのに十分な数の母数でテストを行いましょう。

これを繰り返し行い、より結果の出るホームページに育てていきましょう。