>>タイプ分析レポート記事ドキュメンテーションオンデマンドウェビナーお客様の声チュートリアル注目のリソースビデオホワイトペーパーデータレイクとは?デジタル世界は年を追うごとに規模が2倍に拡大しており、2020年までに44兆ギガバイトに達すると予測されています。そのデータの最大90%は非構造化データまたは半構造化データであることから、そのようなデータをすべて格納し、かつ迅速に処理する能力を維持するという2つの課題が生じています。データレイクとは?データレイクは、多数のソースからのビッグデータを元のままの多様な形式で保持する中央ストレージリポジトリです。構造化データ、半構造化データ、非構造化データを格納できるので、将来の使用のためにデータをより柔軟な形式に保持できます。データレイクは、データを格納する際に識別子とメタデータタグを関連付けることで、検索を高速化します。Dixon氏が最初に使用した「データレイク」という用語は、データレイク内のデータの臨時的な性質を指し、従来のデータウェアハウスシステムに格納されるクリーンな処理済みデータに対比させています。データレイクは、通常は安価でスケーラブルな市販ハードウェアのクラスター上に構成されます。これにより、ストレージ容量を気にせずに、後で必要が生じた場合に備えて、データをデータレイクに投入できます。クラスターは、オンプレミスにもクラウドにも配置できます。ダウンロードする今すぐダウンロードデータレイクはデータウェアハウスと混同されがちです。ビッグデータやビッグデータプロセスがオンプレミスからクラウドへと移行し続ける今日において、データレイクには、使用に適した状況にある組織に大きなメリットをもたらすいくつかの顕著な違いがあります。Read)と呼ばれる原則に基づいています。これは、格納前のデータが適合する必要のある事前定義されたスキーマがないことを意味します。処理中にデータが読み取られる場合にのみ、解析が実行され、必要に応じてスキーマに適合されます。通常はスキーマの定義に長時間かかるので、この機能によってその時間を削減できます。これにより、あらゆる形式のデータをそのまま格納することも可能になります。データサイエンティストはデータレイクを使用して、より迅速かつ正確にデータにアクセスし、データを準備/分析できます。アナリティクスの専門家は、従来とは異なるさまざまな形式のデータを使用可能な巨大なデータプールを使用して、データにアクセスし、センチメント分析や不正検知などの多様なユースケースで活用できるという、またとない機会を得ます。データウェアハウスデータレイクとデータウェアハウスは、基本的な目的が似ているために混同されがちです。両方とも、組織内のさまざまなデータストアを統合するストレージリポジトリーです。両方とも、さまざまなアプリケーションにデータを投入するワンストップのデータストアを作成することを目的とします。2つの間には根本的な違いがあり、それぞれ異なるシナリオに適しています。データウェアハウスのスキーマは、格納の前に定義され、構造化されています(スキーマはデータの書き込み中に適用されます)。対照的に、データレイクは事前定義されたスキーマを持たないため、ネイティブの形式でデータを格納できます。したがって、データウェアハウスでは通常、データプレパレーションの大半が処理前に行われます。データレイクの場合は、データが後で実際に使用されるときに実行されます。データが格納前に単純化された形式で整理されないため、データレイクを活用するには、さまざまな種類のデータとそれらの関係に精通した専門家が必要になります。対照的に、データウェアハウスは、明確かつ文書化されたスキーマにより、技術系ユーザーと非技術系ユーザーの両方が簡単に利用できます。新しいチームメンバーでも、すぐにウェアハウスを使い始めることができます。データウェアハウスでは、最初にスキーマを定義するのに時間がかかるだけでなく、後で要件が変更されたときにスキーマを変更する場合も大きなリソースが必要になります。一方で、データレイクは変更に容易に適応できます。必要なストレージ容量が増えるのに応じて、データレイククラスター上のサーバーを拡張することも容易です。データウェアハウス」を参照してください。→クラウドのデータレイクか、オンプレミスか?従来のデータレイクは、オンプレミスで実装され、HDFS上のストレージとHadoopクラスター上の処理(YARN)を使用します。Hadoopは、スケーラビリティが高く低コストであり、データの局所性(データとコンピューティングが同じ場所に存在する)という元来のメリットによる優れたパフォーマンスを提供します。オンプレミスのインフラストラクチャを構築するには、次のような課題があります。大規模なサーバーは物理的なスペースをとるため、コストが高くなります。ハードウェアの調達とデータセンターのセットアップは簡単ではなく、数週間から数か月もかかることがあります。ストレージ容量を拡張する必要がある場合は、スペースのニーズ拡大と上級幹部によるコスト承認のための時間と労力がかかります。スケーラビリティはオンプレミスでは簡単に実現できないため、プロジェクト開始時にハードウェア要件を正しく見積もることが重要です。毎日データが無秩序に増加する状況において、これは容易なことではありません。オンプレミスのコスト見積もりは、クラウドを選択する場合よりも高くなることが証明されています。クラウドデータレイクはこれらの課題解決に役立ちます。クラウドのデータレイクには次のメリットがあります。簡単かつ迅速に開始できます。抜本的な変更を伴うアプローチではないので、開始後に少しずつ対処していくことが可能です。従量制のモデルを使用するので、高い費用対効果を実現できます。ニーズの拡大に応じて簡単にスケールアップできるので、要件の見積もりや承認のストレスから解放されます。物理的なスペースが不要な点も、コスト上のメリットとなります。BeachBody社は、クラウドデータレイクを使用して、データアーキテクチャーと従業員の両面でスケーラビリティを改善しました。クラウドデータレイクの課題もちろん、クラウドデータレイクの使用にも課題はあります。セキュリティリスクのために機密情報や機微な情報をクラウドに格納することを望まない組織もあります。クラウドベースのデータレイクベンダーのほとんどは、セキュリティを保証し、長年にわたって保護の多層化を推進しているとは言え、データ窃取の懸念が払拭されたわけではありません。1つの実際的な課題は、組織によっては構造化データを格納するためのデータウェアハウスシステムをすでに確立している点です。この場合、すべてのデータをクラウドに移行することを選択するか、またはハイブリッドソリューションとして共通コンピューティングエンジンを使用し、ウェアハウスの構造化データとクラウドの非構造化データにアクセスする道を模索できます。データガバナンスの懸念もあります。データレイクがデータスワンプ化すると活用が困難になるため、そのような状態にならないよう注意する必要があります。Talendのプラットフォームは、データレイクがクリーンでアクセス可能な状態に保持されるよう保証します。データレイクのアーキテクチャー:Hadoop、AWS、Azureデータレイクには、ストレージとコンピューティングの2つのコンポーネントがあることに留意する必要があります。ストレージとコンピューティングは、両方ともオンプレミスまたはクラウドに配置できます。したがって、データレイクアーキテクチャーを設計する際に複数の組み合わせが可能になります。完全にオンプレミスで維持する、アーキテクチャー全体をクラウドに移行する、複数のクラウドを検討する、これらのオプションを混在させるといったことが可能です。決まった方法はなく、それぞれのニーズに応じて適したオプションがいくつかあります。Hadoopのデータレイクほとんどの人は、データレイクに関連して自動的にHadoopを想起します。分散サーバーから成るHadoopクラスターは、ビッグデータストレージの問題を解決します。System)というストレージレイヤーです。Negotiator)は、各ノードでリソースをスケジュールする方法を決定するリソースマネージャーです。MapReduceはHadoopで使用されるプログラミングモデルであり、これによってデータが小さなサブセットに分割され、サーバーのクラスターで処理されます。これら3つのコアコンポーネント以外にも、Hive、Pig、Flume、Sqoop、Kafkaなど、データの取り込み/プレパレーション/抽出を支援するいくつかの補助ツールがHadoopエコシステムに含まれています。Hadoopデータレイクは、ClouderaやHortonWorksなどのエンタープライズプラットフォームを使用して、オンプレミスだけでなくクラウドにもセットアップできます。Azureなどのクラウドデータレイクも、Hadoopアーキテクチャーで機能を提供します。ダウンロードする今すぐダウンロードAWSのデータレイクAWSでは、データレイクソリューション向けに包括的な製品群が提供されています。Service)です。Connectは、大量のデータをS3に転送できるデータ取り込みツールです。既存のオンプレミスデータをクラウドに移行するのに役立つデータベース移行サービスもあります。Search(データレイクのクエリーのための簡素化されたメカニズムを提供するサービス)があります。Poolsは、ユーザー認証とデータレイクへのアクセスを定義します。Service、CloudWatch、CloudTrailなどのサービスはデータを保護します。Learningなどの処理/アナリティクスツールもあります。AWSで利用可能な製品は非常に多いため、最初に習得するまでが容易ではありませんが、包括的な機能を提供するこのソリューションはビジネスインテリジェンスアプリケーションで幅広く使用されています。ダウンロードする今すぐ見るAzureのデータレイクAzureは、Microsoft社が提供するデータレイクです。AnalyticsとHDInsightという2つのコンポーネントで構成されています。ADLSはHDFS標準に基づいて構築され、無制限のストレージ容量を持ちます。単独で1ペタバイトを超えるようなファイルを数兆個格納することも可能です。ADLSは、データを任意の形式で格納でき、高い安全性とスケーラビリティを提供します。HDFS標準を使用するすべてのアプリケーションをサポートします。これにより、既存データを簡単に移行できるとともに、他のコンピューティングエンジンとのプラグアンドプレイも容易になります。HDInsightは、クラウドベースのデータレイクアナリティクスサービスです。YARN上に構築され、Spark、Hive、Kafka、Stormなどのツールを使用してデータにアクセスできます。Directoryとの統合により、エンタープライズグレードのセキュリティをサポートします。Analyticsもアナリティクスサービスですが、異なるアプローチを使用します。Hiveなどのツールを使用するのではなく、SQLとC#を組み合わせたU-SQLという言語を使用してデータにアクセスします。低コスト(使用したジョブの分だけの支払い)で高速化を実現するので、ビッグデータのバッチ処理に理想的です。Directoryとの統合により、個別のセキュリティ管理が不要その他のデータレイク関連リソースデータレイクの仕組みや開始方法の詳細については、以下のリソースをご覧ください。Cloudを使用してAzureにビッグデータレイクを構築するためのシンプルなアーキテクチャーデータレイクを最大活用するための5つのベストプラクティス.データレイクの使用を開始する速度と多様性に対応する能力を備えたデータレイクは、ビジネスインテリジェンスのユーザーにとって魅力的な存在です。処理済みデータをインターネットで利用可能な主観的データと組み合わせる機会がもたらされているのです。X線やMRIスキャンなどのマシンデータを調査して、病気の因果パターンを判断できます。IoTの用途では、莫大なセンサーデータを驚異的なスピードで処理できます。小売業界は、ユーザーに関する豊富なデータを使用してオムニチャネルのエクスペリエンスを提供できます。データレイクは、高度な予測アナリティクスの用途だけでなく、組織の定期レポートで複数のデータ形式を使用する場合などにも役立ちます。データレイクが必要かどうかという議論をしている状況ではなくなっています。どのソリューションを使用し、どのように実装するかを検討すべき段階に達しています。Integrationをダウンロードして、今すぐ開始しましょう。2019最も利用されているリソースどこから始めてよいかわからないという方へ。