以前、オープンデータについてまとめた記事を掲載しましたが、今回は実際にオープンデータに触れてみたいと思います。
ローデータを目視で見て、都度Excelを使ってグラフ表現をするのは作業量的に辛いものがあるので、Tableauを用いることにします。世の中にあまりBIを使ったデモも無いようなので、BIを検討されている方は参考にしてください。
※ちなみにこのコンテンツはTableau社の記事広告ではありません！あらかじめ！
気象庁のオープンデータを使おう
栄えある第1回は、気象庁が公開しているオープンデータを利用します。気象庁はWEB上で過去の気象データを公開しており、ダウンロードをすることも可能です。
URLはこちら（http://www.data.jma.go.jp/gmd/risk/obsdl/）です。
気温と聞いて真っ先に思い浮かぶのが「地球温暖化」です。今年、東京は1週間連続の猛暑日になり、連続猛暑日日数の記録を更新しました。地球温暖化待った無しの勢いです。
そこで気象庁のオープンデータを用いて気温が上がり続けていることをTableauで表現したいと思います。
気象庁のオープンデータでは、対象となる全国の気象台（南極も！）を選択可能です。時間毎、日毎、月毎と基準となる時間軸を選べるだけでなく、平均気温、最高気温、最低気温の3種類選択できます。
また最高気温・最低気温は、「選択した月の日毎の最高・最低気温の平均（以降、日最高（低）気温月平均）」か「選択した月の最高・最低気温（以降、月最高（低）気温）」かまで選択できます。
どのデータで見るべきか悩むところですね。
ところで「平均」という言葉は曲者で、大きな集団の大まかな意見を代弁することもあれば、意見が平準化されて全く誰の意見も反映していないということもあります。
今回の場合、対象は気温であり、低く見ても-20度から高く見ても45度ということで、変な方向にはいかないと思いますが、いったん平均気温は避け最低気温・最高気温を選択することにします。
地域は大阪本社ということで「大阪」（大阪管区気象台）を選択し、時間軸は月毎を選択しました。対象は1938年1月から2014年12月までの76年間、912ヶ月分となりました。
CSV形式でダウンロードしたファイルをTableauに食わせます。TableauはCSV形式でもExcel形式でも文句を言わずに食ってくれるので大変便利です。
ちなみに接続方式は多種多様です。
取り込みが完了すると、さっそく分析を始めます。
まずは、気温が上がり続けていることを証明するために、「月最高気温」「日最高気温月平均」の2項目の月毎推移をTableauで表現します。
10度前後から始まり山ができて盛り下がる。これで1年分、この繰り返しが76回続きます。
この折れ線グラフだけを見ると、気温が76年間を通じて緩やかに上がっているようにも見えます。が、これだけだとわからないので、いくつかの工夫をします。
まず、上の折れ線グラフと下の折れ線グラフ、それぞれ軸が違うので合わせます。
次に折れ線グラフにいくつかの加工を施します。四分位を追記するのと、合わせて76年間の傾向も加えます。
ちなみにTableauには様々な要約が用意されており、かなり重宝しています。
このあたりの操作感の簡単さはExcelを彷彿とさせます。私はTableauのことをスーパーExcelと読んでいます。
さて、加工した結果が以下の通りです。
比較しやすいよう最低気温のグラフも作り、左側を最高気温、右側を最低気温、上部を日最高低気温月平均、下部を月最高低気温で構成されるダッシュボードを作りました。
まず、月最高低気温は四分位が重なっていませんが、日最高低気温月平均は四分位がガッツリ重なっていました。「平均への回帰」という言葉を思い起こします。
もう1つ気になるのは、傾向線（点線を指します）が最高気温の場合ほぼ横ばいに対して、最低気温は少しだけ右肩上がりという点です。
<傾向線>
月最高気温 =0.000041178*月+25.0011（ただしP値が0.18なのでどこまで信用するか）
日最高気温月平均=0.000046642*月+19.4256（ただしP値が0.16なのでどこまで信用するか）
日最低気温月平均=0.000121038*月+ 9.0159（P値は0.00）
月最低気温 =0.000156846*月+ 3.0809（P値は0.00）
ほぼ横ばいと言っても、気温は1度の変化で生態系に重要な影響を与えますから、なんとも言い難いですが。
ただ最低気温はいずれも、2000年以降、第1四分位に入ろうとすらしています。一方で、これは最高気温で起きていません。気温の急激な上昇が起きていることが受け取れます。
ここ100年で世界は暑くなっている、と言います。
しかし最高気温の伸びと最低気温の伸びを見ていると、本当は「暑くなっている」ことよりも「寒くなくなっている」ことが本質ではないか？という仮説が浮かんできました。
「暑くなったのではなく、寒くなくなった」を検証
「気温が上がり続けていること」を説明するために大阪地域の過去76年分のデータを集計・分析することで「暑くなったのではなく、寒くなくなった」という仮説を導き出しました。
これが日本全国に当てはまるか確認したいと思います。北は宗谷（稚内地方気象台）、南は枕崎（鹿児島地方気象台）を対象に、なるべく東西南北離れた場所の最高・最低気温を見てみます。
沖縄は1970年以前のデータが無かったです。歴史ですね。
その結果がこちらです。まずは宗谷から。
<傾向線>
月最高気温 =0.000018638*月+14.97（ただしP値が0.58なのであまり信用できない）
日最高気温月平均=0.000028157*月+ 8.49（ただしP値が0.44なのであまり信用できない）
日最低気温月平均=0.000049580*月+ 2.55（ただしP値が0.15なのでどこまで信用するか）
月最低気温 =0.000076969*月+(-3.54)（P値は0.03）
次に枕崎です。
<傾向線>
月最高気温 =0.000028157*月+25.31（ただしP値が0.11なのでどこまで信用するか）
日最高気温月平均=0.000036154*月+20.67（ただしP値が0.16なのでどこまで信用するか）
日最低気温月平均=0.000050318*月+12.49（P値は0.08）
月最低気温 =0.000067885*月+ 6.43（P値は0.03）
基本的には、大阪を調べていたときと同じく”最低気温の「傾き」は、最高気温の「傾き」の数倍”という現象が確認できました。
傾きの大きさは大阪＞宗谷＞枕崎の順番だったので、もしかしたらヒートアイランド現象の可能性もあります。
ですが、その場合は最高気温も合わせて少しは上がっても良いので、最低気温が上がり続けていることの理由にはならないような気がします。
気温上昇は以前からわかっていたことですが、なぜ「最低気温」は「最高気温」を上回るスピードで上昇しているでしょうか？
ここから先は科学的知見も含めて、最低気温が上がる理屈、最高気温が上がる理屈を考えたほうがよさそうです。
何があれば最低気温は上がるのか？これは世界各地で起きている現象なのか？緯度が関係しているのか？という仮説を検証していく必要がありそうです。他の地域でも検証が必要だと思われます。
(2015/08/18 14:07追記)
newspickにて、「温暖化とは、地球を暖めているのではなく、冷やす効果を妨げることによるものですから、最低気温の上昇のほうが大きくなるはずです。」とのコメントを頂きました。
冷ます力が弱まって、結果的に温まりやすくなる、というのが地球温暖化なら、今回のデータはそれを証明する端緒になりそうですね！
昨今のBIは何がすごいのか？
今回はデータの集計・分析にTableauを使いました。
昨今はTableauだけでなく、QlikViewやDOMOなど様々なBIツールが登場しています。今回、オープンデータを分析するためにBIを使うことで改めてその凄さを認識しました。
その1つにデータ構造さえ理解していれば、GUIベースで簡単に分析できることです。
しかも、データ構造と言ってもExcelベースで十分ですから、ほとんどの人が違和感を覚えることなく操作できると思います。
それまでデータはサーバ上にあり、集計・分析を行う場合は管理者にお願いしてデータを用意してもらっていたはずです。
ただし依頼する側はデータがどのような形式で格納されているか分からずイメージでしか伝えられませんでした。そうすると、管理する側はイメージで言われたデータ形式を物理的な定義に変換できなかったことがあったと思います。
ここに「壁」があったのではないでしょうか。
昨今は、この「壁」を壊し、あらゆるユーザーが全てのデータに触れ、BI上でデータを見ながら集計・分析することができるツールに進化しています。
全てのデータは物理的な意味で数字に置換されますが、数字に定義するのはビジネスサイドの役割です。
今までの「壁」が壊れれば、もっと「分析」は身近に、かつ必要度・重要度は増していくに違いありません。
是非、お問い合わせください。
