やましーデータ活用クラウドエンジニアになるSQLも叩けない、クラウドも触ったことがない三十代元インフラエンジニアの私。2020年2月14日こんにちは!やましー@データ活用クラウドエンジニア(@yamashi18041)です!あなたはデータの重要性に気が付いているでしょうか?おそらく、あなたはその重要性に気が付き始めているからこそ、私のブログを読んで下さっているのだと思います。これからの時代、データは超重要な資産の一つになっていきます。データはほっておくとただのゴミです。あなたはこんなことを思ったことはありませんか?あのキャンペーンの時のデータってどこにあったっけ?これいつ時点のデータだ?ファイル名に「_old」「最新_」「_追記」「_編集中」「_V2」が付いている。どれを見ればいいんだ。保管期間が過ぎてなくなってる。データを有効に活用することでそれは資産となり、あなたの組織へ、そしてあなたに利益を生むようになります。日本はまだまだデータの活用が進んでいるとは言えません。ITの浸透が、人々の生活をあらゆる面でより良い方向に変化させる)が巷を賑わせています。様々なものをIT、デジタル化すると言ことは必然的にそこにデータが生まれます。デジタルトランスフォーメーションの次のステップとして必ずデータ活用というステップが見えてきます。データは溜めなければ消えてしまいます。溜めておけばよいかというとそうでもありません。前置きが長くなりましたが、今日はそのデータを溜めるのに大切なデータ基盤について、その構成要素であるデータウェアハウスを解説した記事です。その前にデータ基盤って何?って方はこちらの記事も併せてご覧ください。まとめこのブログで説明するデータウェアハウスの前提まず前提として混同されやすいのでこの記事で取り上げるデータウェアハウスについてです。説明する人によっては、データ基盤全体をデータウェアハウスとして説明される方もいれば、データレイクをウェアハウスと説明している方もいます。私は以前の記事でデータ基盤を説明していますが、この記事ではデータ基盤の構成要素として、データ基盤の一部としてデータウェアハウスを説明します。データウェアハウスとはデータウェアハウスとは簡単に言うと「意思決定のためデータを構造化して統合して時系列に溜める場所」ということになります。実態としてはリレーショナルデータベースでその使い方の概念の名前がデータウェアハウスとなります。細かく説明するとデータを取り出しやすいようにデータレイクに溜めたデータを構造化データとして整形して溜める場所になります。SQLで処理できるようにする場所(リレーショナルデータベース)ということです。データを統合するために項目名やコードを統一(統合)して溜めることになります。時系列で溜める場所になります。特徴をまとめると構造化データを溜める項目名やコードを統一(統合)して溜める時系列で溜めるという場所がデータウェアハウスです。データウェアハウスの父と呼ばれています。データウェアハウスが必要なのかなぜデータウェアハウスが必要なのでしょうか。それは、意思決定を行うためです。この説明はデータ基盤が必要な理由でもあるんですが、マーケティング、プロモーション、業務効率化、コスト削減、あらゆる場面で施策を実施すると思います。これまでは施策を実施する根拠として経験と勘によって意思決定していたことでしょう。それは属人生が高く、再現性がなく、ある意味ギャンブルです。これからはデータを活用し、実施した施策を検証し次に生かす時代です。そのためにはデータを1か所に集めて、検索や分析、AIによる機械学習をし易くするためにデータウェアハウスが必要なのです。データウェアハウスのメリットとデメリットデータウェアハウスのメリットデータウェアハウスの長所メリットを列挙してみます。項目名など統一化されている時系列なので当時の状況が分かる分析者は本番のシステムへ直接アクセスしなくてよいすぐに分析に取り掛かれるデメリットデータウェアハウスの短所デメリットを列挙してみます。Analyticsデータ基盤は運用するにつれてデータ量が莫大に増えていきます。データ量が増えたり、分析などをするユーザーが増えると処理速度が問題になっていきます。そのため拡張性に優れたクラウドサービスを使うのは非常に相性が良いです。Analytics」を使うのがよいでしょう。SQLで操作ができますし、将来的には非構造化データを扱えるかもしれないというデータウェアハウスの弱点を克服してくる可能性を秘めています。データウェアハウス)という名前でした。その第三世代の位置づけとされています。しては「そこに注力していくという証」だそうです。データウェアハウスの周辺技術データウェアハウスに関する周辺の技術がいくつかあるので説明しておきます。データレイクデータマートETLBIツールクエリツールメタデータ管理ツールデータレイクデータレイクには各業務システムから得られるすべてのデータをそのままの形で置いておく場所になります。詳しい説明こちらをご覧ください。データ基盤に欠かせないデータレイクとは?データマートデータマートにはデータウェアハウスから特定の用途や部門向けに必要なデータだけを取り出して結合や削除、集計などあらかじめ加工してデータを溜めておく場所になります。ユーザーはデータマートに分析(BI)ツールを接続してデータを参照する場所になります。データマートはデーウェアハウスに比べて溜めてあるデータ量が少なくレスポンスが早いのが特徴です。データウェアハウスは大規模なデータを高速に処理するために複数台のコンピュータを分散して処理を行います。そのため、小さなデータを処理しようとすると逆に時間がかかってしまいます。ユーザーがアクセスをデータマートにすることで、データウェアハウスへアクセスが集中するを避けることができるので負荷も分散されます。まとめると特定部門向けのデータを溜める分析しやすいようにデータを溜める分析ツールで接続してユーザーが直接使うETLETLとはExtract(抽出)Transform(変換)Load(格納)の頭文字をとったものです。Extract(抽出)各業務システムからデータを取り出したり、またはデータレイクからデータを取り出すことを言います。Transform(変換)Extract(抽出)で取り出したデータをデータウェアハウスの統合されたフォーマットに変換することを言います。Load(格納)データウェハウスまたはデータ基盤へデータを格納することを言います。ETLは専用ツール、または自作のプログラムやスクリプトを使う場合があります。AzureにおけるETLツールであるDatafactoryについて以前記事にしたので良ければどうぞ。データをグラフやチャート、マップなど様々な角度からデータを見える化し意思決定をスムーズに行うためのツールになります。ダッシュボードやレポーティングなどを行い、情報の共有等を行うこともできます。データウェアハウスやデータマートに接続して、接続するツールです。以下のようなものがあります。Studioメタデータ管理ツールメタデータ管理とはデータガバナンスと言ったりもします。データウェアハウスやデータ基盤など1か所にデータを入れたたとしても実はどのデータがどのようなテーブル構造、スキーマ構造で入っているかを管理しなければどこに何があるかが分からなくなってしまします。そのための管理ツールがメタデータ管理ツールとなります。まとめデジタルトランスフォーメーションが浸透とともに生産されるデータ。このデータを有効に活用することで、変化の激しいこの社会で競争力を持ち生き残っていくことができます。そのために必要なデータデータ基盤。その中核を担うデータウェアハウス。今日はそのデータウェアハウスについて解説してみました。データウェアハウスとは「意思決定のためデータを構造化して統合して時系列に溜める場所」です。Analytics」という製品でした。データを有効活用し、一緒に世の中にインパクトを与えられる人材になっていきましょう。最後まで読んでいただきありがとうございました。以上、やましー@データ活用クラウドエンジニア(@yamashi18041)でした。Databricksを使ってデータレイクのデータを表示する方法こんにちは。Databricksでデータを整形&統合&可視化する方法こんにちは。...【ベストプラクティス】ビッグデータ活用のために必要なデータ基盤とはこんにちは。...データ基盤に欠かせないデータレイクとは?こんにちは。売り上げ促進、経費削減など様々なビジネス課題を解決する可能性を秘めているビッグデータの活用。その活用が進んでいないのもまた事実です。Factoryを使ってデータ基盤にデータを取り込む方法こんにちは。今日はデータ基盤にデータを取り込む方法について解説したいと思います。Notebookがサクッと使えたこんにちは。...2020/01/25やましーのプロフィールこんにちは。やましー@データ活用クラウドエンジニア(@yamashi18041)です。私は現在クラウド技術を使ってお客様企業のデータ活用基盤を構築しています。Databricksでデータを整形&統合&可視化する方法こんにちは。Databricksを使ってデータレイクのデータを表示する方法こんにちは。...プロフィールはじめまして!やましー@データ活用クラウドエンジニアです。クラウド未経験状態で転職し、3ヵ月でデータ活用基盤をクラウド上に構築できるようになりました。エンジニアとして尖るためにはアウトプット必須だろ!ってことで2019年6月からブログ開始。日々勉強したことを同じように悩んでいる方の為に記事を更新してます。得意領域はAzure、C言語、TCP/IP、サーバーインフラ構築です。未分類やましーデータ活用クラウドエンジニアになるSQLも叩けない、クラウドも触ったことがない三十代元インフラエンジニアの私。