サイト改善のPDCAを回す時に気をつけていること

sprocket-ferret-8.jpg

飯髙:
ここまで接客のシナリオの作り方は実店舗のようにするというお話でした。そこからさらに改善するためのPDCAを回すときに気をつけていることはありますか?

深田 氏:
PDCAを回すとき、まず僕らが気を使っているのは、次の3つのポイントですね。

  • どういう接客をするのか
  • どういう人に向けて施策を打つのか
  • どこの場所(サイト)で出すのか

なので、どこからチューニングしていくのか順番を決めることが重要です。

細かいTipsのようなお話しですが、セグメントが大きすぎると狙いが絞れないし、小さすぎると効果が低くなるなど、適切なサイズを見ていかないと結果に繋がりません。もしくは、セグメントするユーザーの量によって仮説がなかなか検証しづらくなることもあるでしょう。

*セオリーとしては、ある程度母数の大きな集団に対して施策を当てることです。*そこから細分化していくというアプローチを取ったほうが検証しやすくなります。

その仮説を立てて実施した結果の評価をどうするかというのがかなり難しいポイントです。数字は片方のパターンのほうが優れていれば常に勝ちというわけではないので。

やはり基本的にはいろいろな角度で見ないと、本当に勝ってるかどうかは、なかなかわからないと考えています。

弊社のデータサイエンティストが言っているのですが、データって一定期間見ていると、本当は優位じゃなくても、一瞬だけ優位になることがあるそうなんです。そういう意味でも、多角的にデータを見るのはとても重要だと思います。

そして、企業さまの経験からくる肌感覚が、実は当たったりすることもあります。このように定性的に違和感があれば、もう少しだけ継続するか、見直しの判断をする。定量、定性で総合的に見ながらやることが大切ですね。

飯髙:
確かに定量データで見ていても、外的要因によって大きく変化する場合もありますね。データで語ることはもちろん大切ですが、定性的な要因を掴んだ上で両方を見ながら判断するようにしていきたいですね。

あと、難しいなと感じるのが、短期的な判断と長期的な判断を見誤ってしまうこと。長期的には正しいとわかっていても、現場では短期的なKPIを追ってしまってズレが発生することもありますよね……。

深田 氏:
そうですね。組織では発生しうることですよね。それを解決するには、「本質的な課題はどこなんだっけ?」「どこにリソースをかけるべきなんだっけ?」と考え続けることが大切です。

かなり極端な話になりますが、例えばボタンの色のテストを繰り返すのは本質的ではないなと思っています。もちろん、サイトによって影響の度合いは変わることは前提としてありますが、青なのか赤なのか、それをいくら試してもしょうがないのかなと思うんです。

もし、無闇矢鱈とA/Bテストをやるんだったら、どのタイミングで何をお客さんに伝えるべきなのかを考えるほうが価値として大きいですよね。どの行動からインパクトを作るべきなのか、順番を考えながらやることが重要です。