やましーデータ活用クラウドエンジニアになるSQLも叩けない、クラウドも触ったことがない三十代元インフラエンジニアの私。2019年12月15日こんにちは。売り上げ促進、経費削減など様々なビジネス課題を解決する可能性を秘めているビッグデータの活用。その活用が進んでいないのもまた事実です。今日はビッグデータ活用に欠かせないデータ基盤の構成要素でもある「データレイク」について説明したいと思います。データ活用の波は今後ますます大きなものになっていきます。競合他社は次々とデータ基盤を導入してく中で、この波に乗り遅れてしまうとどうなるでしょう。根性論による業務効率化を押し付けられて疲弊したサラリーマンとして一生を終えてしまうかもしれません。逆に今のうちにデータレイクやデータ基盤知ることでデータ基盤構築を社内で提案し、あなたの会社の業績にインパクトを与え同僚に差をつけ上司へアピールすることで待遇が上がり最高な人生を歩むことができるかもしれません。データ基盤について以前の記事で解説をしていますので併せてご覧ください。【ベストプラクティス】ビッグデータ活用のために必要なデータ基盤とは今回の記事は次のような読者を想定しています。データレイクの概念について知りたい方ビッグデータを活用するために必要な情報収集がしたい方データ基盤を構築したい方それではデータレイクについて説明していきたいと思います。まとめデータレイクとはまず結論です。データレイクとは一言でいうと「すべての生データを置いておく場所」です。データ基盤の構成要素であるデータレイクですが、「すべての生データ」とは何でしょうか。組織が分かれており、それぞれの組織で様々な業務システムを使って仕事をしていると思います。カメラの映像SNSこれら以外にも多種多様な情報があると思います。企業活動の中で生み出されたデータを余すことなく「すべての」情報を溜めておく場所となります。溜めたデータは分析をしやすいように加工、整形していきますしかし、加工の方法が間違っていたり、違う形に整形したデータも欲しいといった場合、その元データがどこにも残っていないとやり直すことが困難になってしまいます。そのため加工することなく「生データを」溜めておく場所ということになります。加工する場合はここから取り出すします。データレイクが必要なのかデータ活用、データ分析をする場合に必要になるのはデータです。通常、各業務システムで生み出されたデータははその業務システム中だけに存在していて外から入手することは困難です。このような状態をデータのサイロ化といいます。このサイロ化している状態では複数の情報を使っていろんな角度から分析することができません。他部署のデータを活用したい場合、その都度各業務担当者に問い合わせてやり取りをしなくてはなりません。心理的にも業務的にも負担が大きくなってしまい、データ活用は捗りませんよね。サイロイメージ、縦割りで中のものを隣の棟に移動するにはコストがかかる。そこでデータを一か所に集め、だれでも取り出せるようにして活用できるようにしておく場所がデータ基盤となります。そのデータ基盤を構成するのがデータレイクです。生データを入れるということは様々なデータの種類が存在することになります。一般的には次の3つに分類できます。構造化データ半構造化データ非構造化データ構造化データ構造化データイメージデータが行と列で構成された表形式になっているか、データの一部を見ただけで二次元の表形式への変換方法が分かるデータです。半構造化データ半構造化データイメージデータ内に規則性に関する区切りはあるものの、データの一部を見ただけでは、二次元の表形式への変換方法が分からないデータです。PDFドキュメント、等スキーマ・オン・リードという考え方データレイクの特徴としてスキーマ・オン・リードがあります。データを溜めるときにそのデータの型(スキーマ)を意識せず、読み出す時にどのようなスキーマなのかを意識する考え方を「スキーマ・オン・リード」といいます。データを整形した後にデータを溜めることをスキーマ・オン・ライトといいます。スキーマを定義するには通常時間がかかるため、あらゆるすべてので業務データを保存するにはこのスキーマ・オン・リードという考え方が最適です。「データレイク:データの湖」に対して「データスワンプ:データの沼」という言葉があります。湖と沼のイメージ通りデータレイクは澄んだきれいな状態を指します。データスワンプはゴミで使えないデータが無造作に置かれている状態を指します。あらゆるシステムからすべての生データをとりあえず置いておくと、汚い沼と化してしまう恐れがあります。ゴミで使えないデータとは、欠けていたり、重複したり、ファイル名から何のデータかわからない、そもそもどんなデータが置かれているかすらわからない。そんな無秩序な状況になってしまうとそれは湖ではなくゴミで汚れた沼となり、せっかくの集めたデータも無駄になってしまいます。データガバナンスを整備して、データレイクを運用していく必要があります。Azureにおけるデータレイクデータレイクはすべてデータを溜める必要があるので当然容量は莫大に増えていきます。そのため、従量課金でかつ拡張性が高いクラウドと相性が良いです。Gen2)」を使うのがよいでしょう。Object)ストレージの後継です。Blobストレージとはデータレイクの要件であるどんなデータでも溜めることのファイルシステムとなっています。コスト効率が良く、容量に上限はありません。分析処理にも最適化された階層型名前空間をサポートしています。