よくわからないから楽しい

たまに何を言っているのかも分からなくなります

【実例付き】見習いグロースハッカーでもひと目で分かる!適切なセグメントが重要な理由

Garbage in, garbage out.
(ゴミデータを用いていくら解析してみても、出てくる結果はゴミばかり)

この言葉について本ブログでも何度か取り上げているように、データ分析をする際は、自分が見ている数値が本当に意味のあるデータなのかという点に常に気をつける必要があります。

今回はSnapeeeで実際に行っている仮説検証を例にして、その重要性について説明します。

 

グラフ1(すべての国 - 7日間の移動平均)

http://cdn-ak.f.st-hatena.com/images/fotolife/y/yuji_nano/20140716/20140716213954.png
※ クリック、タップで拡大します

このグラフはあるネガティブ属性を持つユーザーが、全体に対してどれほどの影響力を持っているかを調べたものです。グロース施策によってポジティブ属性を持つユーザーの影響力を高めることで、ネガティブ属性を持つユーザーの影響力を相対的に弱めようとしています。マイナス方向にどんどん数字が大きくなってくれれば、効果が出ている状態です。

ちなみに施策前後の変化を知るために3月頃からの数値を取得していますが、施策を開始したのは5/19からです。右の方の、一気に大きな変化が出たあたり。施策の効果が出ていることが分かります。

7日間の移動平均で見ているのは、グラフの変化が細かすぎると傾向が見えにくくなるのと、土日などの環境要因によるブレを排除したかったからです。

なお、この仮説検証はiOSユーザーでしか行っていないので、Androidユーザーはデータから除外してあります。

 

グラフ2(すべての国 - 28日間の移動平均)

http://cdn-ak.f.st-hatena.com/images/fotolife/y/yuji_nano/20140716/20140716214158.png

こちらはグラフ1の28日移動平均版です。より大きなトレンドの変化にのみフォーカスしたい場合は、こちらを使っています。


ところがですね・・・


グラフ1もグラフ2も、仮説検証の材料としては不十分です。社内では「またゴミデータを見てるんですか!」って言われちゃうレベル。それを裏付けるのが次の2つのグラフです。

 

グラフ3(国別 - 7日間の移動平均)

http://cdn-ak.f.st-hatena.com/images/fotolife/y/yuji_nano/20140716/20140716214402.png

グラフ4(国別 - 28日間の移動平均)

http://cdn-ak.f.st-hatena.com/images/fotolife/y/yuji_nano/20140716/20140716214530.png

ユーザー数が多くて言語が異なる4つの国を使ってセグメントしたグラフです。国をセグメントしていなかった時と比べて、いろんなポイントが見えてきます。

  • 日本ではこの属性を持つユーザーの影響力が、他の国に比べて大きい(0.0%に近い) 
  • アメリカではこの属性を持つユーザーの影響力が、他の国に比べて若干小さい 
  • 中国では施策の効果が顕著に出ている 
  • タイでは最初に施策の効果が出ていたが、すぐに頭打ちになっている

 

このデータを基に、次のプランを立てる

  • 日本人はインセンティブに弱いので、それをうまく活用した施策を打とう。 
  • タイでは文字より画像の方が訴求力がありそうなので、文字を減らして画像をもっと効果的に使ってみよう。 
  • とりあえず日本とタイ向けの施策を優先させて、中国とアメリカはどこでこの傾向が頭打ちになるかを引き続きウォッチしてみよう。 


国ごとに傾向が違えば、打つべき施策や優先順位も当然変わってきます。それが分かっていないと、後続の施策がすべての国向けの大雑把なモノになったり、施策の効果が出ているのかどうかが分かりづらくなってしまったり、という負のスパイラルに陥ります。

それこそがGarbage in, garbage out.を表した状態です。

 

グロースハックでは適切なセグメントを心がけよう

いかがだったでしょうか?

今回は分かりやすく国(とiOS)というセグメントだけで解説しましたが、それ以外のセグメントでもハッキリした傾向の違いを見つけることは可能です。ぜひいろんな切り口で試してみてください。

この記事が新しいアプローチへのきっかけになれば幸いです。