LP（ランディングページ）で実施したA/Bテストでおかしがちな5つの失敗パターン

更新日: 2020年07月10日

LP制作・LPO

マイページにお気に入り

質の高い仮説を立てずにあいまいなままA/Bテストを行ってしまう

A/Bテストは、あくまでも「こっちの方がCVRが高くなるだろう」というような仮説を立証するための手段のひとつです。そのため仮説があいまいだと、とりあえずボタンの色を変えたり、文章を変えたりするだけになりがちです。

意図のないLPの変更や改善は、A/Bテストをしている意味がありません。

ただ、質の高い仮説を立てることは意外と大変で、経験がなければ難しい側面もあります。そのため、チーム全体でA/Bテストでどのような仮説を立てるかしっかり議論しておきましょう。

A/Bテストの結果より自分たちの主観を優先してしまう

3つ目の失敗パターンは、テスト結果よりも自分たちの主観を優先してしまっている可能性があるということです。

例えば、元の案であるAと新しいデザインBのLPのA/Bテストをしたと仮定します。すると、A案のコンバージョン率が「0.1%」高くなりました。この場合、結果だけみると初めのLPである案Aの方が優れていることがわかります。

ですが、ここに「デザインを一変させたい」「0.1%の差ぐらいなら新しい画像に変えたい」などの、自分やチームの主観が入ってしまう場合があるのです。

主観が入ってしまうと、テスト結果を無視したことになる場合が多く、A/Bテストを行った意味もなくなってしまいます。

A/Bテストを行ったからといっても、最終的に新しいデザインを採用する判断をするのは人間です。そのため、感情やその場の雰囲気に流されずに、データと向き合うことが重要。

テスト結果を自分たちの都合のいいように解釈せずに、きちんと受け入れることで、LPの改善に役立つでしょう。

数日間のテストで終了してしまう

A/Bテストを、2〜3日の短い間行っただけで満足してしまうのも失敗する原因です。A/Bテストでは、新しい（B案）LPがGoogleにインデックスされ、クローラーが巡回してくれるまで、しばらく時間がかかります。

また、LPのPV数も曜日によって変化します。休みの人が多い土日などはPV数が増加の傾向にある商品やサービスは多いのではないでしょうか。また、間に祝日などが挟まってしまえば、そこもCVRに影響する可能性があります。

上記の要素を踏まえると、最低でも1〜2週間以上はA/Bテストを実施するのがおすすめです。

そもそもA/Bテストを行うLPの訪問数が少ない

そもそも、検証するLPのPV数が少ないと信頼度の高いテスト結果は得られないでしょう。仮説を立ててデータ検証していくには、ある程度の母数がなければ、情報の信頼性が低くなります。

A/Bテストは、統計学の知識が少しだけ必要です。特に大切なのが、「サンプルサイズ」の調査。サンプルサイズを簡単にいうと「どれぐらいの数を調べれば、適切なA/Bテストを実施したと言えるのか」を示す数字です。サンプルサイズの計算は、複雑になりますが、多くの場合A/Bテストを行うツールで自動計算してくれます。

正しいテスト結果を得るためには、商品やサービスによって異なりますが、最低でも100PV以上は必要になるでしょう。

また、LPのPV数が少ないとコンバージョン率が数％変化したところで、大きな結果を得られません。わかりやすく表すと、下記のような状態です。