Web業界に携わっていると、多くの方が経験するであろう業務がLP(ランディングページ)の「A/Bテスト」の実施です。A/Bテストは、簡単に実施できるツールがある、予算をかけずに行えるマーケティング施策。

ただ、深く考えずに行ってしまうと、意味がないA/Bテストになりがちです。その結果、売り上げアップや集客増加につながらず、悩んでいる企業担当者は多いのではないでしょうか。

そこで今回は、A/Bテストでやりがちな失敗あるあるを5つ紹介していきます。何度もA/Bテストを行っているのに、思うような結果が出ていない方は、ぜひ参考にしてください。

A/Bテストとは

A/Bテストとは、マーケティング施策のひとつです。簡単にいうと、AパターンとBパターン2つのバリエーションの案を用意し、それぞれの売上や集客力などを比較するテストを示します。A/Bテストで用意する案は、同じ条件設定にしておけば2種類以上でも問題ありません。

LPのA/Bテストの場合には、AパターンのLPに対して、文章やキャッチコピー、画像などを変えたB案を、多くの場合一定期間比較し測定します。その結果、どちらのLPがコンバージョン率(CTR)やクリック率(CTR)が高いかなどを調べ、基本的にはテスト結果がいい方を新しいデザインとして採用します。

A/Bテストをする目的は、コンバージョン率向上に伴う売り上げや集客の増加です。ただ、テストを行ったからといって、コンバージョン率が一気に数十%も上がることは難しいでしょう。

ですが、数パーセントだけでもコンバージョン率が増加すると、CV数は増えることになります。元々のLPのPV数が多いほど、コンバージョン率増加に対してのCV数は倍増するので、なるべくPV数が多いLPでA/Bテストを実施するのがおすすめです。

集客、売り上げの伸びに悩んでいる企業担当者は、まずはどんどんA/Bテストを実施していくことが重要になるでしょう。

LP(ランディングページ)のA/Bテストで起こしやすい5つの失敗

LPのA/Bテストを行ったとしても、なかなか思うような結果が得られないことはよくあります。
結果が得られないのは、LPのA/Bテストで起こしがちなミスをしている可能性が非常に高いです。

そこでここでは、LPのA/Bテストで起こしやすい5つの失敗を紹介していきます。コンバージョン率などが上がらない悩みを抱えている企業担当者は、自社でこの失敗をおかしていないか確認してください。

AとBの条件が一致していない

まず、ひとつめに起こしがちな失敗は、AとBの条件が一致していないことです。多くの方が、「A/Bテストをするのだから、条件を合わせることは当たり前だ」と思っているのではないでしょうか。

もちろん、A/Bテストをする上で条件を一致させることは基本的なことですが、条件設定がいい加減になっていませんか?

例えば、条件の不一致でよくある事例には以下のようなものがあります。

  • AとBの効果測定の実施時期がずれている
  • 外的要因(季節やバズ、ビジネストレンド)を重要視していない

上記のようなことが原因で、正確なテスト結果が得られない可能性があります。

そのため、改めてAとBの案それぞれの条件を見直して、一致させるとより正確なテスト結果を獲得できます。

質の高い仮説を立てずにあいまいなままA/Bテストを行ってしまう

A/Bテストは、あくまでも「こっちの方がCVRが高くなるだろう」というような仮説を立証するための手段のひとつです。そのため仮説があいまいだと、とりあえずボタンの色を変えたり、文章を変えたりするだけになりがちです。

意図のないLPの変更や改善は、A/Bテストをしている意味がありません。

ただ、質の高い仮説を立てることは意外と大変で、経験がなければ難しい側面もあります。そのため、チーム全体でA/Bテストでどのような仮説を立てるかしっかり議論しておきましょう。

A/Bテストの結果より自分たちの主観を優先してしまう

3つ目の失敗パターンは、テスト結果よりも自分たちの主観を優先してしまっている可能性があるということです。

例えば、元の案であるAと新しいデザインBのLPのA/Bテストをしたと仮定します。すると、A案のコンバージョン率が「0.1%」高くなりました。この場合、結果だけみると初めのLPである案Aの方が優れていることがわかります。

ですが、ここに「デザインを一変させたい」「0.1%の差ぐらいなら新しい画像に変えたい」などの、自分やチームの主観が入ってしまう場合があるのです。

主観が入ってしまうと、テスト結果を無視したことになる場合が多く、A/Bテストを行った意味もなくなってしまいます。

A/Bテストを行ったからといっても、最終的に新しいデザインを採用する判断をするのは人間です。そのため、感情やその場の雰囲気に流されずに、データと向き合うことが重要。

テスト結果を自分たちの都合のいいように解釈せずに、きちんと受け入れることで、LPの改善に役立つでしょう。

数日間のテストで終了してしまう

A/Bテストを、2〜3日の短い間行っただけで満足してしまうのも失敗する原因です。A/Bテストでは、新しい(B案)LPがGoogleインデックスされ、クローラーが巡回してくれるまで、しばらく時間がかかります。

また、LPのPV数も曜日によって変化します。休みの人が多い土日などはPV数が増加の傾向にある商品やサービスは多いのではないでしょうか。また、間に祝日などが挟まってしまえば、そこもCVRに影響する可能性があります。

上記の要素を踏まえると、最低でも1〜2週間以上はA/Bテストを実施するのがおすすめです。

そもそもA/Bテストを行うLPの訪問数が少ない

そもそも、検証するLPのPV数が少ないと信頼度の高いテスト結果は得られないでしょう。仮説を立ててデータ検証していくには、ある程度の母数がなければ、情報の信頼性が低くなります。

A/Bテストは、統計学の知識が少しだけ必要です。特に大切なのが、「サンプルサイズ」の調査。サンプルサイズを簡単にいうと「どれぐらいの数を調べれば、適切なA/Bテストを実施したと言えるのか」を示す数字です。サンプルサイズの計算は、複雑になりますが、多くの場合A/Bテストを行うツールで自動計算してくれます。

正しいテスト結果を得るためには、商品やサービスによって異なりますが、最低でも100PV以上は必要になるでしょう。

また、LPのPV数が少ないとコンバージョン率が数%変化したところで、大きな結果を得られません。わかりやすく表すと、下記のような状態です。

  • A案:PV数100×CVR10%=CV数10
  • B案:PV数10,000×CVR10%=CV数1,000

このように、訪問数PV数)が多いほど得られる最終的な成果は大きくなります。

LPの訪問数が少ない場合は、まずLP全体の質を高めて、訪問数を増やすことから始めてみましょう。