リスティング広告のA/Bテストで成功しているかどうかを判断する3つの基準

リスティング広告 の A/Bテスト を繰り返し行う中で、何をもって成功とするのか、わからなくなる時はありませんか？
色々と変更しながらテストをする際に、何が成功要因なのか把握しづらくなってしまう時があります。
では、どうしたら 広告 の A/Bテスト の結果に確信が持てるようになるのでしょうか。

確信を持つために必要な要素はたった3つ

A/Bテスト の結果の良し悪しを測るために必要なのは、この３つで十分です。

1.仮説
2.対象
3.母数

なぜこの３つなのか、以降で解説していきます。

1.【仮説】 A/Bテスト をする際、仮説立てをしていますか？

仮説は、ノーベル物理学賞を受賞したエンリコ・フェルミもその重要性を提唱しています。

「実験には2つの結果がある。もし結果が仮説を確認したなら、君は何かを計測したことになる。もし結果が仮説に反していたら、君は何かを発見したことになる。」

エンリコ・フェルミ（wikipdia）
「やってみなければわからない」と何も考えずにテストを行うだけでは、仮説の精度が上がらず 広告 の改善は進みません。仮説は立て続けることにより、必ず精度が上がってきます。大事なのは、”仮説を立て続けること”です。

2.【対象】 A/Bテスト をする時、テスト対象はちゃんと定まっていますか？

テストを行う時は、テスト対象を明確に定める必要があります。当たり前のことなのですが、 リスティング広告 の場合、KW・ 広告 の タイトル ・ 広告 の説明文など、複数のテスト対象が存在するため、目的がぼやけてしまいがちです。。

広告 内部を広告の タイトル ・説明文をテストする場合

よく A/Bテスト で陥りがちなのが、テスト対象が定まらずにテストするパターンです。

、この図のように、一度に複数の変更を行うと何が検証対象になるのか不明確になってしまいます。1つのテストでは1つの対象に絞ってテストをしましょう。

設定 キーワード をテストする場合

キーワード の A/Bテスト においては、マッチタイプや アカウント 構成の特徴から実はテストの結果が確信持てるものか確信が持てないものなのかでホームページの成長が大きく左右する要素です。

まずマッチタイプを選択。

キーワード のマッチタイプには、完全一致・フレーズ一致・部分一致と大きく分けて3パターンのマッチタイプが存在します。
完全一致＜フレーズ一致＜部分一致の順にKWの解釈が拡大し、ヒットする キーワード も増えます。
完全一致のものは対象 キーワード が把握できるのですが、フレーズ一致であれば対象の キーワード はその単語をは含む キーワード 層、部分一致であれば対象の キーワード と同じ意味合いのキーワードまで対象となります。

つまり完全一致＜フレーズ一致＜部分一致の順に不確定要素が大きくなるということです。

ですので、まず完全一致を行い、それをフレーズ一致、部分一致の 広告 グループや キャンペーン に展開する方法をおすすめします。

完全一致・フレーズ一致・不一致について詳しくはこちらをどうぞ。
リスティング広告のキーワードマッチの種類を覚えよう

3.【母数】 A/Bテスト をする際、判断するのに十分なデータが蓄積されていますか？

A/Bテスト 実行時、クリック数は担保できていますか？

統計学的には、母数は2,000取るのが望ましいと言われています。
ただ、2000の母数を取る前に明確な差が出る場合もありますので、その段階で成否を判断することも可能です。

訂正（2014/10/17）：「統計学的には」という箇所に誤りがあるとご指摘頂きましたので訂正致します。
2000母数を取ると望ましいというのは、 A/Bテスト の統計データではなく、世論調査を行う際のサンプリング数の判断目安を根拠として明記しておりました。
一般的に統計処理方法に基づき1万人の世論調査に必要なサンプリング数は「1万人で1,300人、10万人でも1,500人」と計算できます。また、それ以上母数が増えた場合もサンプリング数は2000人以下でという結果になっています。

設定するゴールによって必要クリック数は変わってくるので、ここでは仮にゴールを コンバージョン と位置づけてみましょう。

コンバージョン （ CV ）数の母数と コンバージョン 率（ CVR ）により必要なデータ数が違ってきます。

CVR が10%と仮定した場合

CV 数が10の場合、クリック数は100と予想できます。
A/Bテスト を行うので、測定対象は2つある前提です。
ですので、必要な CV 数もクリック数も2倍となります。

200クリックで明確な判断ができれば、そこで次のテストに入ります。

CVR が1%と仮定した場合

CV 数が10の目安のクリック数は1,000と予想できます。
こちらも対象が2つある前提なので、 CV 数もクリック数も2倍となります。
ですので、2000クリックで明確な判断ができれば、そこで次のテストに入ります。

ホームページの内容にもよる部分も大きいですが、AとBのパターンの明確な違いを引き出せるよう常に考えなければなりません。

時に少ないサンプル数でも判断ができるぐらい明確な差が出る場合もあります。
ある程度（※200クリック以上）のサンプル数があるならば、次の仮説を立て次の A/Bテスト に入ってしまいましょう。

まとめ

繰り返しになりますが、 広告 の A/Bテスト の結果に確信を持つためには下記3つのポイントを抑えましょう。

1.仮説
2.対象
3.母数

テストに仮説を立て、ストーリーを作りましょう。
対象となるものができる限りぶれないよう対象を絞り込みましょう。
判断するのに十分な数の母数でテストを行いましょう。

これを繰り返し行い、より結果の出るホームページに育てていきましょう。

  <div class="div-td-img">
    <a href="/curriculums/listing"><img src="https://ferret.s3.amazonaws.com/images/53fb131169702d5c01100000/original.jpeg?1409726350" /></a>
  </div>
  <div class="div-td">
    <div class="bm_title">
      <a href="/curriculums/listing">リスティングカリキュラム一覧</a>
    </div>
    <div class="blockquote">