楽天Googleデータスタジオは、無料ながら強力なデータ視覚化ツールですよね。EXCELでCSV出力した大量データをマージしてみました。こんにちは、データ大好きカグア!です。本記事では、Googleデータスタジオで大量のCSVファイルをアップロードしてマージ(結合)してみましたので、クライアント様に許可頂けましたので知見をシェアします。>>人気の「Googleデータスタジオ|タブロー」最新一覧はこちら。毎月数万レコードのCSVが届く毎月、大量のトランザクションが発生しながらも、専用データベースの導入などができずEXCELで管理している案件があります。商品や価格、ジャンルなどフィールドは統一されているEXCELでいちいちマージするのも面倒、でも予算はない運営堂さんに相談したところ、Googleデータスタジオを提案されましたので、早速使ってみました。たしかに無料で使えます。GoogleデータスタジオとはGoogleデータスタジオの公式ヘルプはこちらです。公式ですと、2018年3月22日時点ではまだ、ベータなんですね。>>データスタジオ(ベータ版)のヘルプ公式の解説動画、英語です。先に結論を言っておきますと、私のケースだけかもしれませんが、以下の注意点が許せればGoogleデータスタジオはかなり使えるのではないかと思いました。複数ファイルを選択してアップロードできるのですが、私の環境ですとだいたい半分くらいが取り込みエラーになっていました。1つづつアップしても100%すんなりいく、というのは無かったです。5KB、2万件弱のCSVデータなのですけども。アップロード後は思った以上に軽快でこれがWebサービスかと思うほどさくさく動作しました。ピボットはエクセルとは操作が異なるのでちょっと慣れは必要ですけど、アップさえしてしまえば躓くことはほぼ無いと思います。いやあGoogleデータスタジオ、ほんと凄いですね。それでは具体的な操作をご紹介します。GoogleデータスタジオでCSVをマージEXCELでCSVを出力EXCELで管理していますデータをCSV出力します。Windowsですと[F12]キーが「名前をつけて保存」のショートカットで便利です。文字コードをUTF-8に変換TERAPADなど文字コード置換できるテキストエディタで、EXCELが出力しますSHIFT-JISの文字コードを、Googleデータスタジオが認識できるUTF-8に変換し、上書き保存します。GoogleデータスタジオにアクセスGoogleデータスタジオにアクセスします。Googleにログインしていればすぐに以下の画面が表示されます。「新しいレポートの開始」で始めます。※データソースメニューから、まずは取り込みだけしてもいいかもしれません。>>Googleデータスタジオ新しいデータソースを作成データソースとはGoogleデータスタジオで視覚化するための元データのことです。今回はCSVをここへアップロードします。画面右下に以下のボタンがあります。CSVファイルをアップロード画面遷移しましたら、画面左にあります「ファイルのアップロード」を選びます。ここからCSVファイルをGoogleデータスタジオで送信できます。アップロードしデータセットを作成します。CSVファイルはドラッグアンドドロップでも、ダイアログからでもアップロードできます。同時に複数送信することも対応しています。操作途中で、Googleの認証画面が出ますので許可しておきます。CSVファイルをマージマージするには、同じ画面で「ファイルを追加」としますと、そのデータセットにCSVファイルなどのデータを、マージして追加してくれます。アップロードの失敗Googleデータスタジオはベータ版ですから、アップロードで失敗してエラーになっても怒らないようにしましょう。再アップロードすれば大丈夫です。文字コードをUTF-8にし忘れてたとか、フィールド名が統一されてなかったとかでエラーになることもあります。「エラー」の表示をクリックし、内容を確認して対応しましょう。ちなみに私は、ファイルが複数あっても、面倒ですが1回1回アップしています。そのほうがエラーになる確率は少なかったです。同じ画面で「ファイルの追加」としますと、同じデータセットにCSVをマージ(追加)できます。マージし終えたら接続CSVファイルをアップロードし終えましたら、画面右上の「接続」をクリックします。接続はすぐに終わります。接続しましたらレポート作成する前に、フィールド(データ項目)の確認画面が表示されます。問題がなければ画面右上の「レポートに追加」をクリックします。グラフ化も自動で軸を認識レポート作成画面に移りましたら、たとえば「折れ線グラフ」を選び、画面上をドラッグしますと、自動で認識して、日付などのフィールドは横軸になるなど、オートで配置されます。データセットからレポート画面への遷移もスムーズですし、レポート画面でディメンション(項目)を切り替えても、データ反映は本当に速いです。トータルで12万件くらいあるのですが、無料ツールでこんなにも軽快というのは感動します。レポートを作ったら、あとは追加したいCSVデータが発生した時点で、データセットにマージすればOKです。2018年3月22日時点での操作はこんな感じなので、迷わないように注意。Googleデータスタジオにログインデータソースを選び、データセットをクリック「コネクションを編集」をクリック「ファイルを追加」をクリックでCSVをアップロードいやほんと簡単ですね。これでCSVデータが発生し次第、都度データセットに追加マージして、ためておけば安心です。Googleデータスタジオのデータ上限なお、公式ヘルプによりますと、Googleデータスタジオのデータ制限やデータセットの上限は以下のとおりですので、注意しましょう。大量データを格納した後のことも考えたほうが良いとは思います。データスタジオ(ベータ版)のヘルプデータはGoogleクラウドストレージに格納されますので、その後の大規模運用なども検討するときは以下のドキュメントを参考にすると良いと思います。Cloudお疲れ様でした。俊章Amazonで詳しく見る関連情報リンク背景黒だとスマートに見えますよね。Lifeパーソナルなこともスマートに見える、そうGoogleデータスタジオならね。hitode909の日記いつか有償版も使ってみたい。>>無償版と有償版の違い(「Googleオプティマイズ」と「Googleデータスタジオ」)かっこいいダッシュボード。Web担当者Forumざっくりと俯瞰できる記事です。Unyoo.jpピボットもほんと簡単です。DoRuby使い込んでいくといろいろと見えてきます。広告主コミュニティまとめGoogleデータスタジオは無料ながら、大量データをビジュアル化してくれる本当に便利なツールです。アップロードなど安定してくれるともっと使いたくなる感じですね。大量データをエクセルでマージするのが辛いなーと思ったら使ってみようと思いました。あとは、グラフやテンプレートなど、もっとビジュアルパターンが定期的に増えていってくれると嬉しい。無償版では難しいのかな。今後もGoogleデータスタジオに期待です。Yoshidaブロガー兼ユーチューバー。個人事業主でネット業界のお仕事24年目です。「マツコの知らない世界」Googleマップ案内人TV出演。Googleストリートビュー認定フォトグラファー。Googleアナリティクス公式コミュニティ・アンサリスト最高ランク「レジェンド」国内初獲得。主な著書「Googleアナリティクス基礎講座」(技術評論社)。趣味はデジカメとゲームとパン作り。当サイトについて・プライバシーについて当ブログではGoogleアナリティクスとcookieを用い、個人を特定しない範囲でアクセス状況を記録しています。Google側ではその情報をGoogleアカウントと紐付けパーソナライズ広告に利用しています。その情報は取り扱いに注意しつつ、内容充実や企画立案など、皆様のお役に立てるよう活用しています。パーソナライズド設定をオフにするには、Google公式ページを御覧ください。運営するアフィリエイトプログラムに参加しています。それらのリンクからユーザー様が該当サイトにて購入されたとき、サイトが紹介料を獲得します。・引用/画像利用について当ブログでは一部外部の画像を利用しています。TwitterやInstagramなどSNSで公開された投稿については、本文の説明上必要と思われます著作権法で認められています「引用」としての利用として、ASPの埋め込み引用機能(エンベッド)を用い掲載をしています。・免責事項について当ブログの記事の内容や感想については、あくまでも個人的な見解となります。記事執筆当時の情報で、実際の状況や環境によって掲載内容と異なる場合がございます。万一トラブルや問題、損害が発生しましても、一切の責任を負えません。