国勢調査データを正規化し、Tableauでビジュアライズする方法BLOGTableau2017/07/18著者:カズヤFacebookはてブTwitterLINEPocket総務省統計局のサイトには、国勢調査の統計データを公開しています。調査し集計したものです。エリアマーケティング、営業戦略などのビジネスシーンで活用されています。データ分析に活用する場合、データ形式が扱いづらく、構成上、多くの調整が発生します。そこで、掲載されている国勢調査データについてデータクレンジング(正規化)処理を行い、Tableauに取り込んだのち、マッピング、グラフ化等様々なビジュアライズ(可視化)を行い、データ分析の土台を構築してみました。今回、Tableauでビジュアライズを行うデータは2015年総務省国勢調査の総人口・総世帯数の統計にします。この統計は、市区町村レベルで以下の項目が記載されています。ついてビジュアライズを行います。Tableauで分析する準備Tableauにデータを取り込みビジュアライズ及び分析するにあたって、取り込み対象であるデータは以下の要件を満たす必要があります。データが列方向(上から下)に並んでいること同じ種類の項目が1つの列に格納されていることこれらの要件を満たしていないデータは、Tableauから正しく認識されない、合計や平均等の集計計算を行う際に誤った結果が表示される可能性があり、取り込み前にデータの正規化をする必要があります。国勢調査の統計データには、Tableauで分析を行う上で以下の問題点があります。地域の項目に都道府県と市区町村が混ざっています集計計算を行う時に、都道府県の値が混ざってしまうことで誤った結果が出ます。人口を扱っている項目が2つあります2010年と2015年を含めて人口を分析する際に支障が出る可能性があります。世帯数を扱っている項目が2つあります2010年と2015年を含めて世帯数を分析する際に支障が出る可能性があります。2010年の人口密度のデータがありませんこれらの問題点を解決するために、以下の方法でデータを整えました。項目に関してはTableauで分析できます。このデータをTableauに取り込むまでに正規化など5時間ほど作業時間が掛かりました。統計データを地図へマッピングTableauでは地理情報を含む場合、ワークシートに地図として表示することができます。オリジナルの設定のままですと市区町村では一部の市区町村が地図として認識されませんが、外部のポリゴンデータを取り込むことで地図としてビジュアライズすることができます。以下のサイトで提供されているポリゴンデータを用いて地図として表示しました。Failure国勢調査データのビジュアライズ地図とグラフを組み合わせて、総務省国勢調査のビジュアライズしたダッシュボードを作成しました。それぞれのダッシュボードには以下の機能があります。ごとに上位10位以上の市区町村のデータを表示します増減率を表示するワークシートは、減少している市区町村は赤、増加している市区町村を緑で表示しますこれにより、地図で傾向分析を行うことができます。実数を表示するワークシートは、最小値と最大値の中央値を基準として、中央値を下回ると赤、上回ると緑で表示しますこれにより、地図で分布の偏りを確認することができます。連動させた分析を行うことができます。Tableauソリューションの詳細まとめ総務省統計局のサイトには、国勢調査に限らず様々なデータが公開されています。http://www.stat.go.jp/data/guide/1.htm公開されている統計データを正規化することで、データは可視化・分析しやすくなり、データの価値は何倍にも上がります。Tableau等のBIツールを導入されている組織も増えてきていますが、活用の第一歩として公開データの正規化を試されては如何でしょうか。分析するプラットフォームの研究をしています。次回は、また別のテーマで公開されたデータのビジュアライズに挑戦してみます。不動産テックワークブックを無料ダウンロード約15ページに及ぶ「不動産テック最前線ワークブック」を無料配布中。物件データ収集・蓄積でもたらされる次世代の不動産事業を解説します。以下のフォームを送信後、ご登録のメールアドレスに不動産テックワークブックのダウンロードリンクをお送りいたします。新卒採用サイト公開しました。新卒採用サイト公開しました。Reserved.送信中...しばらくお待ち下さい。