リスティング広告のA/Bテストを繰り返し行う中で、何をもって成功とするのか、わからなくなる時はありませんか？
色々と変更しながらテストをする際に、何が成功要因なのか把握しづらくなってしまう時があります。
では、どうしたら広告のA/Bテストの結果に確信が持てるようになるのでしょうか。

確信を持つために必要な要素はたった3つ

A/Bテストの結果の良し悪しを測るために必要なのは、この３つで十分です。

1.仮説
2.対象
3.母数

なぜこの３つなのか、以降で解説していきます。

1.【仮説】A/Bテストをする際、仮説立てをしていますか？

仮説は、ノーベル物理学賞を受賞したエンリコ・フェルミもその重要性を提唱しています。

「実験には2つの結果がある。もし結果が仮説を確認したなら、君は何かを計測したことになる。もし結果が仮説に反していたら、君は何かを発見したことになる。」

エンリコ・フェルミ（wikipdia）
「やってみなければわからない」と何も考えずにテストを行うだけでは、仮説の精度が上がらず広告の改善は進みません。仮説は立て続けることにより、必ず精度が上がってきます。大事なのは、”仮説を立て続けること”です。

2.【対象】A/Bテストをする時、テスト対象はちゃんと定まっていますか？

テストを行う時は、テスト対象を明確に定める必要があります。当たり前のことなのですが、リスティング広告の場合、KW・広告のタイトル・広告の説明文など、複数のテスト対象が存在するため、目的がぼやけてしまいがちです。。

広告内部を広告のタイトル・説明文をテストする場合

よくA/Bテストで陥りがちなのが、テスト対象が定まらずにテストするパターンです。

ABテスト
、この図のように、一度に複数の変更を行うと何が検証対象になるのか不明確になってしまいます。1つのテストでは1つの対象に絞ってテストをしましょう。

設定キーワードをテストする場合

キーワードのA/Bテストにおいては、マッチタイプやアカウント構成の特徴から実はテストの結果が確信持てるものか確信が持てないものなのかでホームページの成長が大きく左右する要素です。

まずマッチタイプを選択。

キーワードのマッチタイプには、完全一致・フレーズ一致・部分一致と大きく分けて3パターンのマッチタイプが存在します。
完全一致＜フレーズ一致＜部分一致の順にKWの解釈が拡大し、ヒットするキーワードも増えます。
完全一致のものは対象キーワードが把握できるのですが、フレーズ一致であれば対象のキーワードはその単語をは含むキーワード層、部分一致であれば対象のキーワードと同じ意味合いのキーワードまで対象となります。

つまり完全一致＜フレーズ一致＜部分一致の順に不確定要素が大きくなるということです。

ですので、まず完全一致を行い、それをフレーズ一致、部分一致の広告グループやキャンペーンに展開する方法をおすすめします。

完全一致・フレーズ一致・不一致について詳しくはこちらをどうぞ。
リスティング広告のキーワードマッチの種類を覚えよう