レポート

メールのフィルタリングからレコメンドエンジン、画像解析まで、ビッグデータの申し子のような存在ですが、難しいと感じている人も大勢いるベイズ統計学。 モンティ・ホール問題（参照：Wikipedia）など、人間の感覚と異なる確率を扱っているように見えますが、実はあらゆる分野に応用が利く便利な存在でもあります。 今回はベイズ統計学について、数式を使わずに絵と具体例（551の豚まんがあるとき・ないとき）だけで説明するので、その雰囲気を感じてもらおうと思います。 551の豚まんって何？という人はまずこのYoutubeにアップされているこのCMを見て下さい。   なぜベイズ統計学は革命的と評されるのか？ ベイズ真っ盛りの昨今。そこまで世界を席巻するにはちゃんとした理由が主に3つあります。   1つに、経験や信念など数値化できないものを数値にして計算できる点が挙げられます。 「サイコロを振って1が出る確率」を客観確率と言います。カイジの世界でもない限り、6分の1でしょう。一方で「月にウサギがいる確率」「あの子が俺を好きな確率」など測れないもの見たことがないものを主観確率と言います。 特定個人に依存せず誰が見ても共通であれば客観確率、評価する主体によって異なれば主観確率と理解してください。 測れないものが測れる。これこそがベイズ統計学を「革命」と評する所以です。   次に、少ないデータ量であっても推測ができて、データ量が増えるほど正確になる点（自動的に結果がアップデートされる学習機能要素）が挙げられます。 統計学は推測統計学の検定や推定に見られるように量が重要です。量が少ないほど、その結果は曖昧さが増します。 ベイズ統計学の場合、量が少なくてもその段階での結論を出すことができます。量が少ない故に諦めなくてもよい点に「価値」があります。   最後に、原因と結果という因果関係に対して、その関係性を計算から明らかにできる点が挙げられます。 以前の福角の記事や、バタフライ・エフェクトという言葉があるように、物事には必ず原因があります。ベイズ統計学は「条件付確率」という確率論を発展させた「事前確率と事後確率」に立脚しており、これはそれぞれ因果関係を示唆しています。 簡単にいうと、結果から原因が起こる確率を予測できます。因果性を考える上で、この手頃感が「魅力」です。   ザックリしていますが、だからこそ世界中で使われているわけです。   家族みんなが笑顔だったら551の豚まんがある確率は？（初級編） まず初級編です。 年に1回関東の実家に帰省するNさんは、関西の手土産にたまに551の豚まんを選びます。 途中の新幹線で車中が匂いテロ（通称：豚まんテロ）に遭遇しているとか、そういうのは考えないでください。チルドを買ってるんです。新大阪駅構内にございますので、お気軽にお求めください。 チルドは匂いが車内に充満しないので、お母さんもぜひお子様におすすめください。   豚まんがあると家族10人全員が100%の確率で必ず満面の笑顔になります。   笑顔。 豚まんがないと家族10人全員が100%の確率で必ず無表情となります。   しょぼーん。 さて、あなたがNさん宅に偶然お邪魔したとき、Nさんは帰省していて、かつ家族10人全員が満面の笑顔でした。手土産に551の豚まんを買った確率はいくらでしょう？ ちなみに他の手土産で10人全員が満面の笑顔になることは無いし、10人全員揃うのは手土産があるときのみとします。   あるときの確率、ないときの確率 これをベイズ的に考えます。...

以前、オープンデータについてまとめた記事を掲載しましたが、今回は実際にオープンデータに触れてみたいと思います。 ローデータを目視で見て、都度Excelを使ってグラフ表現をするのは作業量的に辛いものがあるので、Tableauを用いることにします。世の中にあまりBIを使ったデモも無いようなので、BIを検討されている方は参考にしてください。 ※ちなみにこのコンテンツはTableau社の記事広告ではありません！あらかじめ！   気象庁のオープンデータを使おう 栄えある第1回は、気象庁が公開しているオープンデータを利用します。気象庁はWEB上で過去の気象データを公開しており、ダウンロードをすることも可能です。 URLはこちら（http://www.data.jma.go.jp/gmd/risk/obsdl/）です。 気象庁HPより   気温と聞いて真っ先に思い浮かぶのが「地球温暖化」です。今年、東京は1週間連続の猛暑日になり、連続猛暑日日数の記録を更新しました。地球温暖化待った無しの勢いです。 そこで気象庁のオープンデータを用いて気温が上がり続けていることをTableauで表現したいと思います。   気象庁のオープンデータでは、対象となる全国の気象台（南極も！）を選択可能です。時間毎、日毎、月毎と基準となる時間軸を選べるだけでなく、平均気温、最高気温、最低気温の3種類選択できます。 また最高気温・最低気温は、「選択した月の日毎の最高・最低気温の平均（以降、日最高（低）気温月平均）」か「選択した月の最高・最低気温（以降、月最高（低）気温）」かまで選択できます。 どのデータで見るべきか悩むところですね。 ところで「平均」という言葉は曲者で、大きな集団の大まかな意見を代弁することもあれば、意見が平準化されて全く誰の意見も反映していないということもあります。 今回の場合、対象は気温であり、低く見ても-20度から高く見ても45度ということで、変な方向にはいかないと思いますが、いったん平均気温は避け最低気温・最高気温を選択することにします。 地域は大阪本社ということで「大阪」（大阪管区気象台）を選択し、時間軸は月毎を選択しました。対象は1938年1月から2014年12月までの76年間、912ヶ月分となりました。   CSV形式でダウンロードしたファイルをTableauに食わせます。TableauはCSV形式でもExcel形式でも文句を言わずに食ってくれるので大変便利です。 ちなみに接続方式は多種多様です。 ローカルからでも、オンプレからでも、クラウドからでも   取り込みが完了すると、さっそく分析を始めます。 まずは、気温が上がり続けていることを証明するために、「月最高気温」「日最高気温月平均」の2項目の月毎推移をTableauで表現します。 縦軸：温度、横軸：時間   10度前後から始まり山ができて盛り下がる。これで1年分、この繰り返しが76回続きます。 この折れ線グラフだけを見ると、気温が76年間を通じて緩やかに上がっているようにも見えます。が、これだけだとわからないので、いくつかの工夫をします。 まず、上の折れ線グラフと下の折れ線グラフ、それぞれ軸が違うので合わせます。 軸の変更も簡単。Excelフレンドリー。   次に折れ線グラフにいくつかの加工を施します。四分位を追記するのと、合わせて76年間の傾向も加えます。 ちなみにTableauには様々な要約が用意されており、かなり重宝しています。 様々な分析軸。   このあたりの操作感の簡単さはExcelを彷彿とさせます。私はTableauのことをスーパーExcelと読んでいます。   さて、加工した結果が以下の通りです。 比較しやすいよう最低気温のグラフも作り、左側を最高気温、右側を最低気温、上部を日最高低気温月平均、下部を月最高低気温で構成されるダッシュボードを作りました。...

みなさん、こんにちは。なにわの池上彰こと、アドエビス開発ユニット所属マーケティングメトリックス研究所主任研究員の松本健太郎です。 簡単、正確、解り易いをモットーに、本日も色んなことを「解説」していきたいと思います。 さて本日のテーマは「統計学が最強の学問である」がブームになって以降、統計学というものがバズワード化していますが、「そもそも統計学って何なのか？」について「解説」したいと思います。 統計学とは数字と国語である 「人生を100%狂わせる」と言われている、悪魔のような飲み物がこの世には存在します。 本当かよ、と最初は思いましたが、どうやら「数字」を見てみると嘘では無いというのが解ります。その飲み物を日常的に飲んでいる、ある特定地域を調査した結果を私は知っています。せっかくですから紹介させて下さい。 その飲み物を日常的に飲んで育っていた中学生のうち、約半数は期末テストにおいて平均以下の得点しかあげることができませんでした。知育に影響があることが窺い知れます。 さらに、調査対象の地域内で発生した傷害事件のうち、被疑者のうち100%、すなわち全員が48時間以内にこの飲み物を摂取していたことが解りました。感情に影響を与えることが窺い知れます。 そして、その飲み物には中毒性があることも認められています。被験者にその飲み物を500mlだけ与えて、あとはフランスパンのみを与えていたところ、3日目ほどで異常にその飲み物を欲することが解りました。 とても恐ろしい飲み物で、人生を100%狂わせるという表現が間違っていないことがお解り頂けるかと思います。 本来なら、直ぐにでも発売禁止の行政処分を下さなければならないのですが、何かしらの圧力でも掛かっているのか、最近では街中でも見かけるようになりました。 恐らく、こうした調査結果を知らない人が、何かの誘惑に負けるかのように手を出しているのだと思われます。このままでは、大変なことになるのではないでしょうか。とくに子供への影響が心配でなりません。 もしかしたら、あなたも誘惑に負けていませんか。人生を100%狂わせる飲み物—「水」に。 ただし、水は「人生を100%幸せにする」とも言われていて、なんでも「婚姻届を提出したカップルのうち100%が48時間以内に水を摂取している」「水を日常的に飲んで育っていた中学生のうち、約半数は期末テストにおいて平均以上の得点をあげる」「難関試験に合格した人を対象にアンケートを取ったところ、ほぼ全員が24時間以内に水を摂取している」と言われており、果たして同じ「水」なのか調査が待たれるところです。 …バカバカしいと思っているあなた。これに近い話は、日常に飛び交っていませんか。騙されていませんか。相関関係と因果関係の違いを理解していないと、本当にその器具で劇的に痩せてムキムキマッチョになれますか？本当にそのツールを入れたら他社と同じようにCTRが劇的に上がりますか？ 「統計学」と聞いて難しい数学の方程式が浮かんでいる方が大勢いらっしゃると思います。それは、半分正解で、半分間違いなのです。 確かに「統計学」は数式で成り立ちます。しかし、その数式を活かすのは国語です。国語力が無ければ、上記のような「人生を100%狂わせる飲み物」にコロリと騙されてしまいます。 「統計学」を学ぶということは、数学力を鍛えることであると同時に、国語力を鍛えることでもあります。 統計学の始まり～「統計」の始まりはいつか？～ ではそもそも、統計学という学問は、いつ頃誕生したのでしょうか。いや、そもそも、統計はいつ誕生したのでしょうか。 統計とは「現象を調査することによって数量で把握すること」を意味しています。例えば5年に1回訪れる国勢調査や総務省が毎年発表している経済センサスは統計の1つですし、当研究所が発表しているエビスINDEXやキーワード検索ランキングなんかも統計の1つと言えます。 では、いつ頃から「統計」が登場したのかと言いますと、なんとその起源は約5000年前、紀元前3000年頃、ピラミッド建設のために人口調査が行われたことまで遡ります。 そもそもの統計の出発点は、建造物建設のための人手調査や、兵役や徴税など、国家統治のための基礎資料にあるとされています。実際、統計を英語で 「statistics」と言いますが、語源はラテン語の「status」であり、意味は国家をさします。人口調査や土地調査など、統計という手段を通じて「国の形」を浮かび上がらせていたのです。 日本の場合は、646年に発表された「班田収授法」に基づき、670年に実施された全国的な戸籍調査が統計の始まりと言えます。 統計は当初、こうした「国家の姿・形」を浮き彫りにする手段として使われていましたが、やがて民間や個人でも使われるようになります。「人間やその社会・組織における物事を測る手法」として発達するようになったのです。 歴史上、記録として残っている最古の民間主導の制作物として、1662年にジョン・グラントの手によって編纂された「生命表」が例に挙げられます。教会に保存された死亡記録からデータをまとめ、個々でみると偶然としか思えない社会現象も大量に観察することで、一定の法則・秩序が存在することを明らかにしました。 つまり、ミクロ に見れば「神の意志」であったとしても、マクロに見れば「神の意志に規則性がある」ということになります。 ジョン・グラントという人物は、こうした観察力に特段優れていたのか、当時200万人都市と見られていたロンドンの人口を様々なデータや観察を通じて38万4千人と見積もることにも成功しました。 その他にも、「テーブルゲームをベースにした確率論」や「天文観測時で生じる誤差の理論」「生物や植物に見られる相関関係の理論」など、様々な事象に対する手法が発表されるようになります。 何れも1650年以降に発表されていますが、それは世界史という観点で見て、30年戦争を終えヴェストファーレン条約を締結したヨーロッパにおける近世から近代に掛ける萌芽の1つだった、という観点もあるでしょう。 ただ、こうした疫病の研究や、天文学の研究、生物学や植物学の研究は、その学問の領域の中で全てが完結していました。つまり疫病の研究の結果、明らかになった法則性が、生物学にも流用ができるといったことに気付くまで、さらに時間を要することになります。 その学問内でのみ見られる規則性だと勘違いしていたのか、或いは、横展開できるなんて考えてもいなかったのか、何れかは解りません。しかし、統計そのものがあまりにも普遍的な存在であることを理解している今日の私達私から見れば常識と言えることも、それが発見される前までは常識でないことを歴史が教えてくれます。 こうして、統計が登場してから約4500年経って、ようやく現在の2つの形に近付こうとするのです。 1つは、全てを丹念に調べて規則性を見つけ、法則を導く手法。これはやがて、記述統計学として大成します。一方で、全てを丹念に見るには時間が掛かり過ぎるとした場合に、一部を観察して、論理的な推測を行い、それを全体と紐付け、全体そのものの法則を導く方法。これはやがて、推計統計学として大成します。 つまり統計学とは、学問として成り立ったというよりも、様々な現場において観察眼が優れた人物により法則として導き出された手法を、後世の人間が体型立てた結果として誕生したものなのです。 では、いったいそれは誰の手によってなされたのでしょうか？ 統計学の始まり～「学問」の始まりはいつか？～ 数学者であり天文学者でもあったケトレーは、犯罪、出生、結婚、死亡などの人間に関する現象に関する様々なデータを検証し、「正規分布」に従うかどうかを調べ、社会には最大多数を占める、平均的属性を備えた人間である「平均人」が存在し、社会の重心に相当することを発見、1835年にそのことを発表しました。...

エビスINDEXシリーズの最新版をお届けいたします！ エビスINDEXシリーズでは、アドエビス全数データを分析した事例をご紹介しております。 過去記事はコチラ ①ついに公開された広告効果測定の全数データ ②エビスINDEXで景気の良い都道府県を測る！ リスティング広告のキーワード 今回はこれまで趣向を変えまして、リスティング広告のキーワード着目します。 5月第2日曜日と言えば……？ そうです、「母の日」ですね。 と、言う訳で「母の日」というキーワードが含まれたリスティング広告のCV数について見ていきます。 （CVポイントは資料請求から購入完了まで様々なパターンがありますが、ここでは全てCVとして同一に扱います。） 母の日リスティングCV数   上記の折れ線グラフは2012年10月以降、アドエビス全データからリスティング広告でCVした中で、「母の日」というキーワードが含まれていた件数の推移です。 （統計的な処理を行った上で2012年10月を100としています。） 推移を確認すると年末から年初にかけて落ち込んだ後、一旦は母の日が設定されている5月に向けてCV数は増加していきます。 6、7月は落ち込みますが8月にピークをつけています。 お母さんを調べたのですから、お父さんを調べない訳にはいきませんね！ 母の日vs父の日リスティングCV数   先ほどのグラフに父の日CV数のグラフを追加しました。 （2012年10月の母の日CV数を100としています。） 一目見て、、、 父の日CV数は少ない………ですね。 この期間で平均的に約1/3倍となっていました。 父の日にはもう一歩頑張って欲しいところです。 折れ線の傾向を確認すると、 ①年末～年始に底を打っている点 ②8月にピークを打っている点 は、母の日CV数と同様であると言えます。 ただ、父の日の6月は残念ながら盛り上がりに欠けているようです。 ■母の日CV数と父の日CV数の散布図   母の日CVを横軸に、父の日CV数を縦軸にとって月次別にプロットした散布図を見てみましょう。 1月にボトム、8月にピークを打っていることもあり、2つの系列は連動して動いているようです。 （相関係数＝0.84） 考察 さて、謎が一つ残りました。 何故、母の日、父の日、共に8月が最も大きな値となっているのでしょうか？ 筆者は「お盆」と「敬老の日」の影響を挙げたいと思います。...

1. はじめに 私は、2007年4月に株式会社ロックオンに入社して以降、一貫して「ADEBiS」の開発に従事してきました。かれこれ約７年間、このアドテク業界に身を委ねていることになります。 アクセス解析と広告効果測定の違いについて説明をしていた2007年頃の私は、「アドテク業界」なる言葉がナウなヤングにシブくバカウケな2014年を想像もできませんでした。 時代の移り変わりも早く、Hadoopなんて今や当たり前、最近ではHBaseとの併用も目立つそうで、付いて行くのにやっとです。 しかし、新しいものがすぐ古くなる時代だからこそ、本質を見失ってはならないと自分を戒める日々です。 例えば「広告効果とは何か？」と問われて、思わずどう伝えれば良いかと悩む瞬間、本質を見失って仕事をしていないかと悩んでしまいます。 一般的な考え方として、広告を「情報伝播活動」とするならば、効果とは「送り手の意図または目標志向性から見た広告の効き目」だと定義できます。 つまり端的に言えば、伝えたいことがちゃんと伝われば、広告効果があったと言えると私は考えています。 では、その「効き目」を定量的に示すとなれば何が良いでしょうか。 2つのKPIが真っ先に思い浮かびます。1つは「売上」であり、もう1つは「態度変容」です。 何れも、WEB上ではある程度の仮説を前提に計測可能であり、例えばADEBiSでは1つ目は直接効果測定を、2つ目はコンバージョン属性情報を用いれば定量的に示すことができます。 ところで、この返答が満点の解答と言えるのでしょうか。 なぜならば本質とは時代を超えても不変の価値観です。であるならば、インターネットが無い1995年以前にそのまま合致するとは思えないからです。 インターネット誕生前の広告は、どのようにその効果を測定していたというのでしょう？また、その手法の根幹となる理論はどのように構築されたのでしょう？ 私が悩んでいたとき、それを知るには50年以上も前である1961年に発刊された「目標による広告管理」にヒントが隠されている、と教えてくれた方がいました。 「目標による広告管理」は原著書名英文の頭文字を取って通称「ダグマー」と呼ばれており、広告業界では誰もが知っている内容だそうで、アドが付く業界にいながら大変な恥をかいてしまいました…。 広告効果測定の歴史は、「ダグマー」以前／以後で分かれるといっても過言ではない、と言われているそうです。 そこで今回は、ダグマー以前と以後で何が変わったのかを明らかにしながら、「広告効果とは何か？」について考えたいと思います。 2. ダグマー以前の広告効果測定 ダグマー以前の広告効果測定の考え方や理論は、主として広告費投入に対する売上向上の動きを測定することに注力されていました。なぜなら、広告に期待されていることは、商品を広く知らしめ、商品を売るためだったからです。 具体的な分析手法として、回帰分析などを用いて広告費と売上高の相関を導き出すことに注力されていました。 今から60年以上も前から、すでに広告「効果」に対する主流の考え方は、広告費、広告量や販売に関する結果の変数（売上高、売上量、シェア、購入経験率など）との関連を明らかにしようとするものだったことは、今を生きる私にとって驚きです。 つまり60年以上前も、今と変わらない考え方によって、ものさしを使い、効果を測ろうとしていたのです。（もっとも冷静に考えれば、広告に期待されていることが今と変わりようが無いので、効果測定の考え方も変わりようがありませんが…） では、どのような「ものさし」を使っていたのでしょうか。 例えば、ドーフマン・スタイナーが発案した、時間要素を導入したモデル。 これは、広告活動を一切行わない場合の販売数量の減少率を減退定数（λ）、広告活動によってもたらされる販売数量の上限を飽和水準（Μ）、広告費1に対する販売数量を反応定数（γ）とそれぞれ定義して、この3つのパラメータで成り立つ広告費と販売数量の関係から広告効果を導き出します。   他にも、オランダの計量経済学者であるコイックが発案した分布ラグ。これは、過去に支出された全ての広告費が売上に影響を与えていて、その影響は時間の影響とともに幾何級数的に逓減している仮定に立つ計算式です。（複雑なので仔細は割愛します） これなんかは、アトリビューションの概念に近いかもしれません。 さらに、この分布ラグをもとに100件以上の実例に照らし合わせて分析を行い、その結果を「The Measurement of Cumulative Advertising Effects」という論文で発表したパルダのパルダ・モデル。（上に同じく複雑なので仔細は割愛します） これは、上記の分布ラグをさらに進化させた計算式で、現在でもネット以外の4マス媒体の効果測定をする際に用いられる手法だそうです。 ちなみに、このような小難しい計算式を用いなくても、以下図のように広告効果を簡単に表す考えもあります。 マトリクスの枠の中で、広告を見て商品やサービスを購入した人の割合が広告効果を示すことになるわけです。例えば、本間弘光氏の提唱したPFAなどの方式で広告効果が測れるとされています。...

2013年に話題を搔っ攫った「ビッグデータ」が「新語・流行語大賞」候補にノミネートされました。残念ながら対象を受賞するには至りませんでしたが、ビジネス部門では文句無しの大賞だったのではないでしょうか。 後は「メタボ」や「イクメン」「女子会」などと同様に市民権を得るか、「そんなの関係ねぇ」「なんでだろう〜」などと同様に消え去る運命なのかは、私を含めたマーケッターの仕事ぶりに依るのかなと勝手に力んでおります。 2014年も同じように話題を搔っ攫いそうな単語が、さっそく世間を賑わせております。それは「オープンデータ」です。 日本国政府は昨年の2013年12月20日に、オープンデータ施策の一環として、国が保有するデータを無償で入手できるポータルサイトの運用を試験的に開始しました（※1）。すでに1週間で20万PV以上のアクセスがあるなど期待度も高く（※2）、オープンデータの先進国である米英を2015年度末までに体制・情報量で追い抜くと、政府の鼻息は荒いです。 既に一部の新聞や雑誌で特集が組まれ、性質上からか行政や議会などで議論が始まっています。日経では、オープンデータ情報ポータル（http://opendata.nikkei.co.jp/）なるものを開設しています。 今年の年末には、知識人代表が「オープンデータ」で流行語大賞を受賞して、喜びの声をあげていてもおかしくないような下地は着々と出来上がっているのです。 劇的に浸透していない今のうちに概要だけでも理解しておけば、「○○さんは時代を先取るニューパワー！」と周囲から賞賛され、上司から激賞されるに違いありません！保証はしません！！ そこで、「オープンデータ」とは何かについて要点を3つに絞って纏めてみました。 その1：オープンデータとは何か？ オープンデータとは、広義の意味で「特定のデータを著作権、特許などの制限を一切設けず、全ての人が望むように利用・再掲載できるような形で入手できるようにすること」を指します。 オープンデータの「オープン」とは、オープンソースやクリエイティブコモンズ（オープンコンテント）などの「オープン」と同義だとも言われています。 2013年6月にG8首脳会合において首脳間で「オープンデータ憲章」（※3）が合意されて以降、環境面の整備も急ピッチで進んでいますが、それ以前は全く無かった概念かと言えば、そうでもありません。 例えば1950年代には実験や観測の結果を積極的に公表し、研究の進歩に役立てようとする「オープン・アクセス」という行動が広がりましたが、その延長線上にオープンデータがあると言われています。 つまりは官民問わず、保有するデータを公に公開して、クローズドでは出せなかった成果をあげることがオープンデータの目的になります。それがインターネットの時代になって急速に規模が大きくなったのです。 例えば、過去の気象情報と位置情報をもとにすれば、防災マップを作成することが可能になります。それは、アプリ開発が得意な人間の手に掛かれば、防災アプリに変身します。実際、そのようなハッカソンイベント（http://ec-award.com/）が開催されていました。 他にも、全国6000ある図書館にアクセスして貸し出し状況を把握する「カーリル」（http://calil.jp/）や、税金の使い道を知る「税金はどこへ行った？（http://spending.jp/）」など、様々な実例が報告されています。 また、公開されるデータの形式についても、このような形が望ましい、というランク付けされた提案がインターネットの生みの親であるティム・バーナーズ＝リーからなされる（※4）など、単純にデータを公開すればいいのではなく、いかに「再利用・再掲載しやすい形で提供されるか」についての議論も始まっています。 最近、特に注目を浴びているのは行政の取り組みです。（福井県鯖江市の取り組みなんかは特に有名ですよね） 行政機関が保有する政府統計（公共データ）は、信頼性・透明性が高い一次統計として元々知られていましたが、それをもっと使い易い形で提供される取り組みを、狭義の意味でオープンデータ（或いはオープンガバメントデータ）と言うようになっています。 例えば、経団連は具体的な利用目的やそのニーズまで明らかにして、公共データをより利用できる環境の推進を政府に働き掛けるなどしています。（※5） その2：なぜオープンデータが注目を浴びるのか？ ビッグデータの誕生が、オープンデータの時代を招いたと言われています。 なぜなら、相関関係を描くのに有効であればどんなデータでも収集するにこしたことはありません（参考記事：今さら人に聞けない「相関関係」と「因果関係」の違い）。分析に掛かるコストも、hadoopなどの誕生により格段に安くなりました。 もっとも、オープンデータから何が解るのだと疑問に思われている方もいらっしゃるかもしれません。そこで政府統計の側面に絞って、注目を浴びる理由を考えてみましょう。 実は、最も古い政府統計は、なんと大化の改新にまで遡ります。戸籍と計帳を目的に670年から実施された「班田収授法」がそれに該当すると言われています。 以降、豊臣政権の「人掃令」や「宗門人別改」など、主に戸籍管理が目的にデータが作られてきました。 1871（明治4）年には、国勢を統計することに主眼を置いた、総務省統計局の前身である「政表課」が誕生しています。初代は旧静岡藩の杉亨二が、第二代は参議大蔵卿として財政整理にあたるうちに正確な統計情報の必要性を感じた大隈重信が就任しています。 では、なぜ、そこまでして為政者は正確な統計情報を欲するのか。 その理由は、GHQらと渡り歩いた吉田茂首相が、マッカーサーに「もし戦前にわが国の統計が完備していたならば、あんな無謀な戦争はやらなかった」と言った言葉に凝縮されます。 例えば学校1つ建てるにしても、どのくらいの需要で、どの程度の規模の施設が必要か、周辺地域の人口や世帯数が解らなければ計画の立てようがありません。況んや、戦争をや、ということなのです。 そもそも、データを集計し、見えなかったものを見ることを「統計」と言いますが、英語では「Statistics」と言います。 「Statistics」の由来はラテン語で国家という意味もあった「status」だと言われており、国家と統計は同根だと言われています。統計が統治を支えていると言ってもいいでしょう。 課税も事業も、正確な情報が無ければ成り立ちません。それを下支えしているのが政府統計なのです。 もちろん、そのデータが民間で活用できないわけがありません。 コンビニや住居の建設、電車やバスの遅延状況、天候の推移ーもっとも正確と言われる政府統計が活用し易い形で提供されれば、国が正確な統計情報によって発展したように、民間も発展していく。これがオープンデータが注目を浴びる第一の理由だと言われています。 その3：リスクは考えられないのか？ バラ色の将来が約束されているかのようなオープンデータですが、1つ大きなリスクがあると言われています。それは「プライバシー問題」です。 2006年、DVDレンタル会社であるNetflix社が顧客の嗜好にあった映画をお薦めするアルゴリズムのコンテストを実施した際、ユーザーの視聴履歴データは匿名化して参加者に提供されましたが、テキサス大学から参加したグループが一部の個人を特定してしまい、FTC（連邦取引委員会）が「プライバシーに関する懸念」を発表して第2回のコンテストは中止になりました。 最近でも、スタンフォード大学の研究者が、匿名化された無作為なデータ群のうち約3割は個人を特定することができたという研究結果を発表しています（※6）。 単体では「個人情報」と解らないデータを、オープンデータとして解放した場合に憂慮されるのが、こうした「プライバシー」の問題なのです。...

いつもはマメ研先生とアドテク女子の対談でお送りする「エビスINDEX」シリーズですが、今回は趣向を変えて、マメ研助手から准教授（自称）に昇進した私の一人語りで進めていきたいと思います。 年の瀬も迫ってまいりました12月、皆さんにとって2013年はどういう年でしたか？ 「じぇじぇじぇ！」な「お・も・て・な・し」を「倍返し」するなら「今でしょ！」な2013年だったのではないでしょうか。 5年後、10年後という「歴史」的観点から見れば、アベノミクスによるデフレ脱却と景気回復というのが1つのキーワードになる、なんてことも言われております。 実際、日本銀行が発表する企業短期経済観測調査、いわゆる日銀短観（※1）を見ても、景気回復の波は都会だけでなく全国各地に普及している様子が見てとれます。 そこで今回は、今年1年間で一番景気の良い都道府県（最も物を買っている都道府県）はどこだったのかを膨大なビッグデータ群であるエビスINDEXから割り出してみようと思います。 都道府県別インターネット人口をオープンデータから割り出す 今回利用するエビスINDEXは、「都道府県別の物品購入件数（CV件数）」です。 ただ、都道府県別の物品購入件数（CV件数）を算出しても、当たり前ですが、人口等の「サイズ」に影響を受けてしまいます。まず、東京都が一番になってしまいます。そこで、まずはサイズの影響力を除去する作業に取り掛かります。 今回最も大きなサイズは人口でしょうから、まず都道府県別人口を割り出すことにします。これは総務省が公表している「日本の統計」（※2）の中から「都道府県別人口と人口増減率」を参考にします。 とは言っても、この数値は総人口であり、インターネットに触れている人口と必ずしもイコールでは無いと思われます。例えば、うちのお祖父ちゃんはパソコンNG、ケータイNG、ネット何それ飲んだらヒザが楽になんの？という感じです。今でも家の固定電話から私に電話を掛けてきます。 そこで、同じく総務省が公表している「通信利用動向調査」（※3）の中から、「年齢階層別インターネット利用率の推移」と「都道府県別インターネット利用率」を参考に、それぞれの数値を掛け合せてマメ研独自の「都道府県別インターネット人口」を作成しました。 念のため「都道府県別インターネット人口」＝「年齢階層別利用率」×「都道府県別人口」と「通信利用動向調査」の「都道府県別利用率」で相関係数を確認したところ「0.72」と高い正の相関関係を示唆していました。この処理で変なことにはならないでしょう。 そして、東京都のインターネット人口を各都道府県のインターネット人口で割ります。東京都が「1」となるので、各都道府県のインターネット人口が減るほど「比率」は高くなります。   この「比率」に、都道府県別の物品購入件数（CV件数）を掛け合せれば、都道府県毎に比較し辛い最大の理由である「人口」の要素を排除した、各都道府県が本来持っている「今まで見えていなかったポテンシャル」が明らかになるのです。 EC業界における都道府県別物品購入件数（CV件数） 物品購入件数（CV件数）のうち、EC業界2業種（食料品、アパレル）に焦点を絞ってみました。 リアルなCV件数は出せないので、最もCV件数が少ない都道府県（佐賀）を「1」とした場合の各都道府県のCV件数を「比」に記載してみました。 対象期間は、2012年12月1日～2013年11月30日となります。 当たり前ですが、東京は圧倒的に件数が多く、上から大都市圏が順番に並ぶことが解ります。だいたいの並び位置も前述した人口順と同じです。   さて、いよいよです。インターネット人口比を、こちらの表の比に掛け合せます。 この数字こそ、「人口」の要素を排除して、全ての都道府県をフラットに評価する数字となります。 「順位変動」とは掛け合せる前後で「順位」にどれくらい変動かあったかを表します。マイナスなら順位が下がったことを表し、数字が大きいほど大きく変動したことを意味します。   なんということでしょう。（加藤みどり風） 何と手堅い東京都＆大阪府。一番景気の良い都道府県（最も物を買っている都道府県）は、東京都で決まりです。 ちょっと面白くない結果です。「人口」の要素は排除できました。が、もしかしたら、ECで商品を買うことに慣れている／いない、も大きく影響しているかもしれません。通信利用動向調査（※3）でも、大都市圏ほどEC利用度が高いという報告があります。 ちなみに、順位が一番大きく変動したのは徳島県でした。次いで和歌山県、高知県、福井県、鳥取県になります。   この傾向は、他に調査した業種でも見られましたので、偶然の一致とは言えないと考えます。特に、四国2県が入ってきているのは意外でした。（4県とも、順位は上に変動しました） 日本銀行が公表している地域経済報告（通称：さくらレポート）（※4）では、四国経済は「緩やかに回復している」と他地域と比べて「弱い景気回復」だと表現されますが、EC領域においては、少し違う実態が出ているようです。 つまりこの5県―徳島県、和歌山県、高知県、福井県、鳥取県は、人口の少なさによって隠れていたけど、実はめちゃくちゃモノを買っている、かなり景気の良い（あるいは良くなっている）県というわけです。 もちろん、この全てをして景気の良し悪しが判断できるものではありません。エビスINDEXというビッグデータを活用すればこんなことも見えてきます、という活用事例の紹介でした。 おまけ メリークリスマス！ということで、今回の内容を皆さんが分析されているデータにも活用して欲しいと考え、マメ研独自の「都道府県別インターネット人口」をコチラからDLできるようにしました。 アドエビスをご利用のお客様は、「ADエビス」＞「地域別分析」からCSV形式でDLを行い、その出力結果を「【CSV出力結果挿入先】」に貼り付けるだけで、「加工結果」に、人口のサイズをならした結果が表示されます。 対象はクリック数、全体CV、広告コスト、売上総額がとなっております。 今までなかった気付きが得られることを期待しています。それでは、良いお年を！...

パーマをあてました。 どうやら中部地方から東では「パーマをかける」と言うようですが、関西発の研究所ですので「パーマをあてる」と表現させて下さい・・・方言の話はどうでもいいです。私がパーマをあてた話です。 理由は単純明快、モテたかったからです。 世の中のイケメンどもを見渡して下さい。まず間違いなくパーマです。 私の中での「イケメン・ゴレンジャイ」は水嶋ヒロ、渡部豪太、綾野剛、ダルビッシュ有、岡田将生なのですが、みんなパーマもしくは天パです。 29歳、独身貴族、これといった特徴も無し。これはパーマでもあてるしかない！と思い立ち、さっそく美容院に行きました。 それが、どうですか。何も変わらない。あげく副社長の福田には「遠くから見るとスキマスイッチの大橋卓彌に見えたけど、間近で見たら何これ、ヤバいな」と言われる始末。 おかしい。何かが違う。私は親友に相談しました。パーマをあてたのにモテない、と。親友は言いました。 「イケメンはだいたいパーマかもしれんけど、パーマあてた人全てがイケメンではない。昔の笑福亭鶴瓶、パンチ佐藤もパーマや。お前、因果関係と相関関係を取り間違えてるぞ」 その時、私の目が点になりました。 因果関係とは？相関関係とは？ 人に言えない話ですが、私は因果関係と相関関係の意味を詳しく理解できていません。そこで、私が陥った誤謬は誰もが陥るのか、そもそもこの２つの違いは何なのかについて調べてみました。 因果とは、もともとは「原因と結果」を意味するサンスクリット語の漢訳です。総じて、因果関係とは2つ以上のものの間に原因と結果の関係があると言い切れる関係を意味しています。 例えば、気温が上がると、以下の図のようにエアコンの売れ行きは伸びるそうです。気温が上がるという現象が原因で、エアコンが売れるという結果が導かれるわけです。暑いからですね。原因と結果が明確です。 他にも、暑いと喉が渇く。空気が乾燥すると風邪をひきやすくなる。早く走ると息が上がる・・・色々と思い浮かびます。 ちなみに、この原因と結果の関係は絶対に一方通行です。原因→結果でしか成り立ちません。エアコンが売れるという原因で、気温が上がるという結果は、どう考えても導かれません。地球温暖化の遠因の1つに、エアコンを含めたCO2の排出があるのかもしれませんが、それは因果関係ではなくバタフライ効果でしょう。 相関関係とは、一方の値が変化すれば、他方の値も変化するという、2つの値の関連性を意味しています。 例えば、数式で言うならばY＝XやY＝X−２など、基本的に直線として描けるものです。一番解りやすいのは、中学数学で習った一次関数のグラフでしょう。 ちなみに、一方のデータがどの程度他方のデータに連動しているかは「相関係数」として表せます。相関係数をrとした場合は「-1≦r≦1」の範囲で収まります。1もしくは-1に近付くほど「強い相関」であり、0に近付くほど「弱い相関（あるいは無相関）」となります。 以下の図のように、1あるいは-1に近付くほど、直線になっていることが解るかと思います。相関が強くなるほど、綺麗な直線となるのです。 つまり、因果と相関は似て非なるものなのです。因果は理由が明確な1本のストーリー、相関は2本のストーリーの関係性を表していると言えます。 これは相関関係？因果関係？ 私の脳みそでは「イケメン」と「パーマ」は完全なる因果関係でした。パーマをあてているならば、結果としてイケメンだと思っていました。 「昔の笑福亭鶴瓶もパーマだった」という親友の突っ込みは、僕の知るデータ量が少なく、恣意的だったとすら言えます。自分に都合の良い事実のみに目を向ける確証バイアスがかかっていました。「イケメン」と「パーマ」の相関関係も怪しいものです。 ちなみに、強い相関関係が表れたとしても、注意が必要なケースとして以下の3つがあげられるそうです。 1.単なる偶然 冬になるにつれ気温は下がる。時を同じくして、大阪府のひったくり件数が減少している。この２つは強い相関でしょうが、単なる偶然です。犯罪を抑止するために、気温がもっと低下することを期待することは間違っています。 2.疑似相関 2つの事象には因果関係がないのに、見えない「要因」によって因果関係があるかのように推測されることを疑似相関と言います。これは、見えなかった「要因」である第三の原因変数を導入することで生み出されます。例えば調査の結果、年収と起床時間に強い相関があったとします。しかし、よく調べてみると年齢が高くなるにつれ起床時間も早くなり、年収もあがっていました。実際は年収と年齢、年齢と起床時間こそ相関関係だったのです。 3.理由を1つのみだと決めつけるリスク 例えば、安い＆旨い＆良い接客だから売れるのに、安いことのみを売れている理由と決めつけるリスクを指します。 私の場合は、2と3に当て嵌まっていたことが解ります。 本当は「パーマ」と「イケメン」ではなく、「パーマ」と「オシャレ」が正しい直接相関かもしれません。「イケメン」は筋の通った目鼻立ちや、小顔、目の大きさなど様々な要素で構成されるのに、パーマのみに着目していました。 ところで、この記事を読まれている皆さんは、私のような勘違いをしたことはありませんか？ マーケティングにおける効果測定は、「使ったコストに対する成果を把握する」という意味において、相関を日常茶飯事に利用するはずです。なぜなら、それはコストと成果という2つの要素の相関を把握することで、より低いコストで高い成果をあげることができるからです。 私たちWEBマーケッターは、こうすれば確実に売れる！という因果関係を探して、日々、複数のストーリーを組み合わせた相関関係の実験を繰り返しているのかもしれません。 ですから、相関と、そうかんたんに縁が切れるはずもありません。 ということは、マーケッターという職業は私と同じような勘違いに陥り易いと思うのです。 例えば、「資料請求のボタンのサイズを1.5倍にすることで、CVRも1.5倍になりました」というケース。 因果関係は、もちろんありませんよね。あらゆるWEBサイトにおいて、この現象は起きません。...

「モーツァルトの言葉を知ってるか？曲を催促されたとき彼はこう言うんだよ。心配するな、もうできた。曲は…ここにある」。 彼はそう言うと、自分の頭を指差しました。 この夏、TBS系列で放映され大ヒットを記録した「半沢直樹」に登場したタミヤ電機社長・田宮のセリフです。このシーンを、全国のWEBマーケッターはどのような心境で見ていたでしょうか。 私の場合、直感で「この人に向けてKPIを説明するのは嫌だな」と思いました。 WEBマーケティングを成功に導くにはKPI設計が重要な鍵を握ります、という定番セリフを言おうものなら「KPIなど設けなくても売上は達成できる、そのストーリーは描けているさ。それは…ここにある」と言い返されるだけだと感じたからです。 理屈で攻めるか、感性に訴えるか、面従腹背で挑むか?そんなことを考えていて、ふと根本的な疑問が湧き上がりました。 KPIとは一体、何でしょう。 業績評価指標（Key Performance Indicators）という単語であることは知っています。 目標を達成するうえで、進捗度合いが測れる目安となるような定量化されている指標という概念も知っています。 例えばPV数やCV数、滞在時間などの指標でマーケティング活動のモニタリングを行い、その結果を踏まえて改善を施すために用いられていることも知っています。 しかし、このKPIという単語はそもそも誰が、どのような背景があって考えたのか全く知りません。 概念や使い方が本当に合っているのか、確認したわけでもありません。 皆が、当たり前のように使っているからこそ、私もそれを当たり前のように受け入れていましたが、果たして上辺の解り易い部分だけをすくって満足しているかもしれません。 そこで、本当にKPIの使い方は合っているのか、その本質は何なのかについて調べてみました。 誰が「KPI」を考えたのか ロバート・S・キャプラン氏（ハーバード大学教授）と、デビット・P・ノートン氏（コンサルティング会社社長）が1992年、「ハーバード・ビジネス・レビュー」に掲載した1つの論文が全ての始まりでした（※1）。 その論文のタイトルは「新しい経営指標“バランスト・スコアカード”」（The balanced scorecard： Measures that drive performance）。 What gets measured gets done.（人は設定された指標に基づき行動する。）という言い回しをもじり、What you measure is what you get.（指標を設定したものしか得ることはでいない。）という書き出しで始まるこの論文。 財務的指標中心である業績管理手法の欠点を補う画期的な業績「評価」システムとして世界中で受け入れられました。 KPIは、この「バランスト・スコアカード」における、重要なツールとして世の中に初めて登場します。 両氏は、企業の経営戦略が殆ど失敗に終わるのは、従業員が戦略を理解した上で自分たちの業務に適用できるアクションプランに変換できていないからだと考えました。 つまり戦略を理解できないまま業務を遂行するため、失敗に終わってから経営者に報告が上がることに原因があると考えたのです。...

データを分析するものにとって、まず何よりも先に考えなければならないのが オリジナルデータの信憑性です。オリジナルデータがダメダメならば、 どんなにすごい分析結果がみえても全く意味をなしませんね。 我々はまず以下について慎重に吟味し、すべてOKで初めて次のステップに 進むことになります。 　そのデータソースは信頼できるのか？ 母集団の定義は？ サンプリングに問題は無いか？ 設問設計に問題は無いか？ ウェイトバックは適当か？（適用されている場合） 時として、サンプリングやデータの取り方に不備があり、かつ再調査ができないときも あります。そんなとき、「そんなデータは使わない方がまし」という考えももちろん ありますが、「精度は低くても考えうる限りのデータ修正／補正をして使えるものは 使おうよ」ということもよくあります。 補正をするにあたり、本来の数値がわからないのですから、補正の方法についてどれが 正解かもわかりません。私もその都度工夫しながらやっています。 ＜＜おせっかいですが、勝手に補正してみます＞＞ （当該キャンペーンはまったく当研究所は関与していませんし、この件で連絡もしていません。 問題がございましたらすぐに削除するので、ご連絡ください。） １週間ほど前から私の通勤路でファッションビルのキャンペーンが行われています。 様々な服を着たモデルさんの大きな写真が２０枚、 そこに実際に押すことのできる「いいね！」ボタンがカウンターとともについています。 そして通りがかりのオーディエンスが気に入ったコーディネートに”いいね”するという仕組みです。 もちろんFacebookにも連動したページがありました。現在のカウンター数値もここで確認できます。OOHの上段がFacebookでは左列。OOHの向かって左側から右の並び順がFacebookでは上から下に並んでいます。 http://www.facebook.com/lumine.yurakucho?sk=app_163787417033168 OOH設置の方を見ていたときに、ちょっと気になりました。 上段にくらべて下段の方が明らかにカウンター数値が高いのです（Facebookでは右列）。 ぱっと見は2倍弱くらい高いようです。さらに真ん中より外側の方が若干高いようにも感じます。 そこで、しばらく人の動きを観察してみたところ、キャンペーンターゲットと思われる20代（前半〜中盤）女性が立ち止まって見たり、ボタンを押してもいましたが、 　・ボタンに気づいたひとがポスターを見ずに「なんだこりゃ？」な感じで押しまくり ・子供が「わーーーーー」っていいながら端から走りながら押しまくり な光景も多く見られました。 確かに、上段ボタンは子供にも、背の低めの方にも押しにくい位置にあります。 私は全然関係はないのですが、本来の数値はどんなものなのか見てみたくなりました。 というわけで、”勝手に補正”やってみます。 まず、上下の補正を考えます。 実際のカウンターの数値を拾ってきて、上段下段の比をそれぞれ計算してみました。 簡単ではありますが、その比の平均（1.92）を上下補正値とします 次に、真ん中〜はじっこ補正です。 今回は、回帰曲線を書いてそれがノイズが無かった場合の値とし...