ferretでは、ページをスクロールするとページ下部に資料ダウンロードページへのボタンが表示されます。

今回は、「このエリアが小さくて見づらく、ボタンが押されづらいのではないか」という仮説のもとで、表示されるパーツのサイズを大きくするA/Bテストを実施しました。

ボタンのA/Bテストを実施

21日間、ferretを訪問したすべてのユーザーを対象にテストを実施しました。

テストクリエイティブ

image3.png

画面下部に設置された「限定資料をダウンロードする（無料）」というボタンでテストを実施しました。

テストパターンでは、下の薄い白背景の領域が約2倍ほどになっています。

image5.png

テスト結果

[member_only]

今回、「ボタンのクリック数」と、資料をダウンロードするのに必要な「仮会員登録」「本会員登録」の数を目標に設定しました。

Google Optimizeのレポート画面を見ると、「最適である確率」が80%以上になっています。

image2.png

Google Optimizeはモデル化されたレポートで、実際のコンバージョンの値ではありません。そこで、実際のコンバージョンの日別の数値も見てみます。

image1.png

オレンジ色の線がテストしたパターンです。何日か逆転している箇所があるものの、場所によっては差が少なく、合計値で見ればテストパターンの方がコンバージョン数・率が高くなっているのがわかります。

まとめ：クローズボタンの利用率にも注視が必要

本会員登録までの数値が上昇したことから、これまで見落としていたユーザーの注意を引きつけ、会員登録まで繋げることができたと考えられます。

一方で、オーバーレイのサイズを大きくしたことで、クローズボタンの利用率も大きく上がりました。これは注視が必要と言えるでしょう。

image4.png
※データにはサンプリングがかかっています。

この結果からは、領域が大きくなったため記事を読む邪魔になってしまったのか、クローズボタンも目に入るようになったため今まで邪魔に感じていた人がクローズできるようになった結果なのかを検討する必要があります。

前者であればユーザーの体験（UX）に悪影響を及ぼしているため、「目に入りやすく、記事を読むという目的を邪魔しないUI」を考慮しましょう。

一方、後者であれば、ユーザーが自分にとって邪魔なものを消せるようになったことで、記事の読みやすさも上がったかもしれません。これらは記事の直帰率、スクロール率などを細かく見ていくことが大切です。テストが終わった後も関連する数値の変動を注視する癖をつけると良いでしょう。