【文責】 松本 健太郎
事業企画室所属 マーケティングメトリックス研究所 所長
今回は、CVRやCTR、CPAなどデジタルマーケティング指標の「表現形態」について、考えてみたいと思います。
もっともメジャーな形態は時系列グラフ(折れ線グラフ)です。
多くの場面で使われていますが、ちょっとした弱点を抱えていることはあまり知られていません。まずは、その点についてお話をさせてください。
「単純」な時系列グラフの限界と弱点
とあるバーチャルな広告施策の過去2年分の実績がここにあります。クリック数、CV件数、そしてCVR。これらの時系列データで構成されています。
このデータから導き出せることは何でしょうか。
まず、多くの人が折れ線グラフを作成すると思います。時間毎の推移を見ることで、傾向が明らかにできます。
ちなみに日毎のCVRは以下のようになりました。
特定の日にちだけ突出してCVRが高いことがわかります。しかし、わかるのはそれぐらいではないでしょうか。
例えば広告クリック後のCVの多くが日を跨いでいる場合、日単位のCVRにはあまり意味がありません。日毎CVRのみで傾向を把握するのは危険です。
そこで週毎、あるいは月毎のCVRグラフを表現するという方法が考えられます。
そうなると、今度は突出して多い日がわからなくなります。そもそも○毎のデータとは集計軸の中のデータの起伏を無くすための手法です。週毎で見るとなると、1週間の中のデータを起伏がならされてしまいます。
結局、日毎、週毎の折れ線グラフを見比べながら、仮説を構築していくことになります。
もしかしたら「この程度の時系列データではこんなもんだ」と思われていませんか?
いえいえ、決してそんなことはありません。時系列データには様々なポテンシャルがあります。
年間最多安打記録を達成した2004年のイチローの成績から考える
時系列データのポテンシャルを知るために、野球の「数字の見せ方」を参考にしたいと思います。
2004年、イチローはMLB年間最多安打記録を破り、262安打という金字塔を打ち立てました。年間成績は704打席262安打24二塁打5三塁打8本塁打60打点、打率.372という成績でした。
彼のシーズンでの打率の推移を表現すると、以下のようになります。
80試合(6月)頃に落ち込み始めた打率も、夏以降に再び上昇し、その勢いのままシーズンを終えていることがわかります。
シーズンを通した好・不調を知るために、直近10試合での打率の推移を見てみましょう。以下のようになります。
10打席で2本のヒットしか出なかった状態から、夏以降は10打席で6本もヒットを打つほどに調子が上向いていることがわかります。バケモノですね。
とくに7月29日から8月3日にかけた5試合(100試合目~104試合目)で2度も5安打を記録しています。当時、米国では「神がかっている」とすら表現されたほどです。
ところで、上2つのグラフは、いずれも折れ線グラフと言ってもいいでしょう。この見せ方をデジタルマーケティングで活かせると私は考えました。
時系列グラフ(折れ線グラフ)の見せ方を進化させる
「2004年シーズンの通算打率推移グラフ」はその試合時点での打率を表しています。
21試合目であればその時点で通算93打席計25安打、打率.269であり、101試合目であればその時点で通算445打席計153安打、打率.344です。
全く同じことを「あるバーチャルな広告施策の過去2年分の実績」で表現できないでしょうか。
21日目(2013年1月21日)であればその時点で通算2,770クリック計66CV、CVRは2.38%であり、101日目(2013年4月11日)であればその時点で通算13,497クリック計170CV、CVRは1.26%です。
このCVRの推移を折れ線グラフで表すと以下のようになります。
最初の数ヶ月は分母が少ないため乱高下していますが、4ヶ月目以降は1.20%から1.50%台の間で推移し、最終的には1.23%台を推移していることがわかります。
2013年9月から11月を底に、2014年6月には一段上回るなどして、緩やかな上昇傾向にあることも見て取れます。
なにより、この広告施策の改善は通算CVRが1.50%前後を上回ってこそ「改善した」と言えるということがわかります。1週間程度の期間だけCVRが改善しても意味は無いのです。
また日毎CVRのように乱高下していませんから、そのクリエイティブ本体が期間を通して発揮しているであろう「基礎体力のようなもの」がこのグラフから解ります。
イチローの好不調を表した「直近10試合の打率推移グラフ」については、時系列データで言えば移動平均法の考えを取り入れていると言ってもいいかもしれません。
以下の図のように、該当期間内の平均値を算出していきます。1日単位でズラしながら算出するので、先述したような日毎であれば日を跨いだ状況に弱く週毎であれば日の起伏が無くなる、という弱点を見事に防いでくれます。
今回の場合、1週間の間でデータの周期性が見られるので、この期間内の平均値を算出したいと思います。クリック数の1週間平均と、CV件数の1週間平均で算出したCVRの推移を折れ線グラフで表すと以下のようになります。
通算CVR1.23%を軸に考えると、2013年より2014年の方が明らかに突出時も平常時も値が大きいことがわかります。
また、2013年9月末から10月末にかけて、ずっとCVRが高い時期があったこともわかります。同じように比較的高いCVRを維持していた時期がありますから、そこを調べれば、季節要因なのか、出航金額が多かったからなのか、運用が上手かったからなのかが明らかになるはずです。
クリック数×CV件数の散布図からk平均法を用いて状態を見極めよう
今回紹介した手法以外に、時系列データをより解りやすくするためにクラスタリングを活用した見せ方を最近は提案しています。
まず、クリック数とCV件数という2つの量的データを散布図で表現します。
もしCVRが安定していれば、散布図は左下から右上に殆ど直線のように表現されるはずです。回帰直線を引けば、大まかに考えればCVRの平均値がどのあたりで直線より上なら良くて下なら悪いかがわかりそうです。
もっとも日単位で表すとなると、どうしても周期性が現れますから、さきほどの1週間平均を用いたほうが良いでしょう。その結果は以下のようになります。
なんともバラけてしまいました。もっとも、それは図6の段階でわかっていたことですが…。
さて、この散布図の結果を良い、悪い、普通の3種類に分類してみましょう。k平均法でクラスタリングする手段が手っ取り早そうです。
ちなみに偶然にしてウォード法を用いた階層的クラスタ分析を行った結果だと大まかに3種類に分かれました。
Rを使うと以下のようになりました。
この絵だと先ほどの散布図とイメージが重なりにくいですね。修正した結果は次の通りです。
赤グループが相対的に見てCVRが高い、緑グループが相対的に見てCVRは普通、青グループが相対的に見てCVRが低いという解釈で良いと思います。
さて、日単位のCVRが3種類に分類できたので、今度はこれを折れ線グラフに落とし込みます。その結果は以下の通りです。
2年間のデータの範囲の中で見て、好不調に分けるとすると、このような分類になりました。
2013年より2014年のほうが赤・緑グループが多いことが一目瞭然です。2014年になってから、ようやく勝ちパターンが明らかになってきた、という感じでしょうか。
また3か月単位で見てみると10月~12月に黄グループが多く青グループが少ないなど、明らかな季節性が表れています。
「どれくらいの数字だったらいいの?」論争に終止符を打つ1つの考え方だと思っています。要は赤グループを目指して緑グループ以内を持続させればいいのですから。
ただし、この手法はあくまで「現状の数字」を活用したものであり、絶対評価ではなく相対的な評価でしかありません。このあたりは、エビスINDEXを活用したいものです。
まとめ:見せ方を進化させよう!
分析とは「現状を把握」し、「仮説を構築」するか「課題を発見」することだと考えています。
今回紹介した方法は、今までのアプローチを少しだけ「進化」させて、わかり難い”現状”をよりハッキリさせることを目的にしています。
実際のデジタルマーケティングの現場では、なかなか2005年阪神優勝時の「JFK」のような勝ちパターンとは見つけ難いものです。
今回のように少しずつ角度を変えながらデータを見ることで、何かを浮かび上がらせる必要があるのだと思います。
是非、お問い合わせください。