感覚でA/Bテストをしてませんか？失敗しないために必ずチェックすべき16項目

A/Bテストの必要性

▲今回、お話を伺った株式会社アッションの岩本氏。

Webサイトのリニューアルや改善施策を一気に実施するのにはリスクが伴います。なぜなら、広義でのECサイト（物販、コンテンツ購入、チケット購入等）の場合には、良くも悪くも売上に直結しますし、BtoB等のリードジェネレーション（問い合わせ）であれば、以降のリードナーチャリングができない、又は中期的に事業が先細ってしまう、という可能性があるからです。

そのため、Webサイト改善の際には、あらゆるリスクの可能性を考えつつ、リスク回避の環境を整え、段階的に分析、改善を行い、その上で検証（A/Bテスト）のサイクルを回していく必要があります。そしてこのサイクルを高速化していくことが、改善効果の最大化に繋がっていきます。

一部ではありますが、実際に上図のような切り口でWebサイトの構造を分解し、段階的に施策検証を行うことで、リスクを低減しながら成果を積み上げていき、サイトの売上や、その先の事業自体へのインパクトを生み出していく事が可能となります。

部分最適と全体最適どちらがいいか

ただ、このような話をした際に、よくご指摘頂くのが部分的な最適化（例えば「ランディングページだけ」など）を図るのか、それともWebサイト全体の最適化を図るべきか、どちらが良いのかという問題です。

もちろん、全体最適のためのストーリーが描けていて、それをベースに各所の施策を検討していくことがベストなのですが、そもそも全体最適のためのストーリーが描けていないというケースも多く、その場合にはストーリーの設計から組み立て直す必要があります。そうなると初動（A/Bテストの実装）までにかなりの時間がかかってしまい、自ずと成果改善も遠のいてしまうので、我々はまず、初期の段階においては一定のルールを設け、部分最適を行っていくことを推奨しています。

仮に、A/Bテストを半年、１年と行っていった先にCVRがアップしないといった問題が起きるとしても、まずは実現可能な部分最適からはじめ、その後、全体最適を実施しても良いと考えています。もっと言うと、部分最適のトライ＆エラーから見えてくるユーザー像やユーザー行動などの情報は必ず、全体最適を行う際の「糧」となるので、結果的に精度の高い改善が行えるようになるという恩恵もあります。

では、我々が実際に行っている部分最適のA/Bテストの流れについてご説明します。

A/Bテスト実装の流れ

大きく5つの分類でご説明します。

・事前準備
・全体設計
・詳細設計
・実行
・検証

この分類は、いわゆるPDCAサイクルに沿ったフレームワークとなっています。

事前準備

1. サイトマップの作成

既にお持ちの場合が多いと思いますが、無い場合には新たに作成しましょう。

2. サイトマップのゴール（目標）にマーク

複数個所でも問題ありません。優先順位を考慮してマーキングしてください。
あわせて、ゴールの手前のページ（絶対に通らないといけない場所、例えばフォーム等）も若干色を薄くしてマーキングするのをオススメします。

全体設計

事前準備が済んだら、A/Bテストを実施するための現状分析と実施する施策を選定するための情報整理を行ないます。

3. ゴールに向けた主要なページ遷移（ユーザーのゴールまでの道順）を絞り込む

間接的な効果を考慮すると様々な道順が想定されますが、あくまで王道、主要な道順を絞り込んでください。もちろん複数存在するという場合もあると思いますが、ここでは分かりやすく一つに絞り込みます。

例）
TOPページ → 商品一覧ページ → 商品詳細ページ → フォーム → 商品購入完了ページ

4. 主要ページ遷移を元に表をつくる

自社のWebサイトで、ユーザーが来訪してゴールするまでの流れを横軸に、縦軸には判断指標を置いて表を作成しましょう。

5. 各ページのセッション数の記入

可能であれば各ページのセッション数に加えて、CV数も記入しましょう。CV数とセッション数が見えることで、各ページのゴールへの貢献度を把握することができます。

更にわかりやすく可視化する場合は、主要導線の遷移率も記入しましょう。どこのページに課題があるかが一目瞭然になります。

6. 各ページの役割を記入

このページの持つ役割を運営者目線で記入しましょう。

例）
商品詳細ページ
　・他商品ページへの遷移
　・カート投入
　・商品の訴求

7. 「6」の役割ごとにKPI設定

例）
商品詳細ページ
　・他商品ページへの遷移
　　→＠ページ回遊数

　・カート投入
　　→カート入れるボタンのクリック数

　・商品の訴求
　　→カート入れるボタンのクリック数
　　　お気に入りボタンのクリック数

もちろん、最終的にはCV数も数値として追いかけます。

8. A/Bテスト対象ページの優先順位決定

これまで記入した情報と、下記の内容から施策箇所の優先順位を決定します。例の場合は、フォームへの遷移率が低いという仮説のもと商品詳細を優先順位「1」としています。

・数値ボリューム
・ゴールへの距離
・難易度
・Google Analytics等からの課題優先順位

詳細設計

実際にA/Bテストで行う具体的な施策を決めていきます。

9. 各ページのA/Bテスト案ブレスト

この時、闇雲に案を出していくのはではなく事前に前提条件※1を共有すると効果的です。また、ブレストはマーケティングや制作のメンバーだけでなく各部署、各役割の方も交えるとより良いです。特に、普段お客様と直接接している営業の方、カスタマーサポートの方たちだからこそ、よりターゲット目線の案が出やすくなるメリットがあります。

この時の注意点は、難易度、実現可能性等の制約に影響を受けない、自由な発想でアイデアをだすこと、あわせて下記の部分は前提条件として各自が把握しておくことです。

※1
　・ターゲット
　・サイトコンセプト
　・USP（Unique Selling Proposition：自社独自の強み）
　・ページ役割
　・KPI
　・ヒートマップ等のデータ
　・Google Analytics等からの課題

10. 各テスト案へのKPI、KGIの設定

KGI、KPIを設けることで、良し悪しを振り返りできるようにしましょう。再現性を持たせる意味でも非常に重要になってきます。

例）
KGI
　・CV

KPI
　・直帰率
　・カート投入率
　・次ページ遷移率　等
※すべて数値として判断できるものを設定します。

11. テストへの優先順位設定

下記の3つを設定してテスト案に記入して優先順位を決定します。

・工数の度合い（例 大：3日以上、中：1日、小：7時間以内等）
・難易度（社内調整、システム絡み、本番反映等）
・想定インパクト

実行

12. テストイメージの確認

パワーポイントでも手書きでも構いません。イメージにズレがないか確認がとれれば問題ありません。後々記録を振り返られるように、データを保持しておきましょう。

13. テスト設定

ステージング環境での確認、本番環境での、テストCVも含めて最終的な確認。

14. テスト実装

開始翌日、中間地点等でのデータ確認を行いましょう。

検証

15. 検証

検証によって、こちらのパターンが勝った！という結果が分かるのも非常に重要ですが、なぜ勝ったのか、なぜ負けたのか、を分析することが重要です。それをベースに次のA/Bテスト案を作成し、PDCAサイクルを回していきましょう。

16. テストの記録

実施結果は振り返りのためにドキュメントとして残しましょう。合わせて社内共有（テストに関わってくれたメンバー）もすると良いです。このアウトプットが情報が整理できるキッカケにもなるのと、引き続きの協力を得られる要素になります。

社内調整

そして、最も躓きやすいのが社内調整です。実際に、これまで多くの会社が社内調整という大きな壁によってプロジェクトが進まないというケースを見てきました。

これは、いくつかの理由があります。

・流れが可視化されていないため承認がとれない（承認できない）
・スケジュールが曖昧（いつまでに結果がでるのか、等）
・コスト計算、ROI（投資対効果）が明確になっていない
・成果までは中期的なモノ、成果は継続的であるという認識の浸透
・A/Bテストなしのリニューアル、マイナーチェンジのリスク

もし、A/Bテスト実施の際に社内調整に懸念がある方や、既にプロジェクトが進んでいない方は、これら内容がクリアになっているか参考にしてみてください。

流れが可視化されていないため承認がとれない（承認できない）

ツールを使う際は、タグの設置等やステージング環境での検証といった作業も伴います。そういった実装に必要なメンバースキル、全体の流れ、発生するリスクなどを把握しているかも承認には大きな影響があると思います。まずは、可視化することをオススメします。

スケジュールが曖昧

上記を踏まえて、分析、施策設計、タグ設置、クリエイティブ作成、コーディング等、部署をまたぐケースも多くあるため、どれくらいのリソースが必要で、いつまでに実装するのか等のスケジュールは非常に重要になります。目途だけでも構わないので作成しておきましょう。

コスト計算、ROI（投資対効果）が明確になっていない

結局は、企業活動においてROIは絶対に無視できない領域です。コストの基準は企業によって様々です。（ツール代、デザイナー工数（内省、外注）等）どこまでを含めるのか等も確認して試算しましょう。

弊社でも基本、シミュレーションシートを元に算出します。何回のテストを行えばいいか等も含めて考えると無理のないカタチで計画を遂行することが可能です。

効果は継続的、かつ中期的なモノであるという認識の浸透

A/Bテストは、トライ＆エラーが重要です。時に失敗することもありますが、その繰り返しが自社のノウハウを蓄積することになります。もちろん、成功すれば効果が継続的であるということを忘れてはいけません。

仮に、1回目のテストでCVR改善率を110％にできれば、以降、A/Bテストによる効果は積み上げ式に高まります。2回目からは110％以上の効果を目指せるので継続的かつ、中長期で効果が得られるので、それも踏まえて成果の試算をオススメします。

注意点としては、商材、サービスに応じて季節的な要因で左右されるケースも否めませんので、同じテストを繰り返すことも必要です。

A/Bテストなしのリニューアル、マイナーチェンジはリスク大

前段でも述べていますが、一気にリニューアルを実施するのには事業リスクが伴います。そのため段階的に分析、改善、そして検証（A/Bテスト）までをフローとして組み込むことのメリットを社内に浸透させていきましょう。逆に言えば、A/Bテストを実施した結果、負けパターンが分かれば、効果の無い施策の実証にもなります。

この後は、しっかりと記録を取っていくこと。テストの後に効果がでたと、一喜一憂するのではなく「何故その結果になったのか」を振り返ることで次のテストに活かし、社内にノウハウを貯めていくことが可能です。

企業規模、文化、ルール等によりますが、A/Bテストは、社内調整も含めて環境づくりができていないと非常に大変です。これらを踏まえてA/Bテスト実装環境、組織構築をしていくとが重要になります。

誰でも簡単にA/Bテストができる『VWO』とは

ここまで紹介したA/Bテストにおける知見は、同社がA/Bテストツール『VWO』を通じて企業のA/Bテストを支援してきた経験が裏付けになっていると言います。

『VWO』は世界で4500社、国内でも400社以上が導入しており、A/Bテストをこれから始めようとしている企業やA/Bテストを簡略化したいといった目的に活用されています。

HTMLやCSSといった知識がなくても自由にテストページを作成・編集できる直感的な操作性が特徴。これまでデザイナーやエンジニアに依頼していた手間を省き、Web担当者一人でもA/Bテストを運用できる機能や情報が搭載されています。

例えば、さきほどの流れで言う「詳細設計」段階で役立つセグメント機能が豊富。参照元、訪問回数、保有Cookie、パラメータ、時間・曜日、地域別でセグメントすることが可能なので、施策の幅を大きく広げられます。

特に、ヒートマップツールも搭載されているので、統計学的知見に基づいたデータ計測だけでなく、より視覚的にユーザーの行動を可視化することも可能。A/Bテストを実施する仮説立てなどに役立つでしょう。

以下は『VWO』で出来ることが分かりやすく紹介された製品動画。

契約後のサポートとして、今回お話を伺った株式会社アッションが仮説立てや運用のアドバイスを受けることもできるため、これからA/Bテストに力を入れようとしている企業にとっては心強いのではないでしょうか。

まとめ

お話を伺う中で感じたことは、A/Bテストをうまく回す仕組みができていないがために、機会損失を生んでいる企業がいかに多いかということ。実際にやってみて、その結果を元にPDCAサイクルをどう回していくか、といった環境づくりがA/Bテストにおいては重要であるということです。

そうしたA/Bテスト実施における環境づくりにおいて、同社が提供する『VWO』は“A/Bテストをはじめる第一歩”としては非常に有効なのではないでしょうか。今なら、ferret限定で「A/Bテスト設計テンプレート＋管理シート」「A/Bテスト事例30連発」を無料ダウンロード（期間限定）いただけます。
[] (http://www.assion.co.jp/download/ferret/?utm_source=ferretpr&utm_medium=content-text&utm_campaign=4633pr2):nofollow
　
　
　　　　　　　　　　　　　　↓　ダウンロードはこちらから　↓
＞＞＞A/Bテスト「設計テンプレート＋管理シート」「事例30連発」無料ダウンロード