ある質問OSSとE-MapReduceOSSとE-MapReduce前述、Hadoop概要、DWHなどBigDataの基本的なことを説明しました。今回はAlibabaCloudで簡単にBigDataができることを記載します。AlibabaCloudには様々なBigDataプロダクトがあります。BigData絡みだけでこのプロダクトがあります(RDB系、分散DB系、NoSQL系は除外)これらは順次追って本テクニカルサイトにて手法、ケースを載せます。中国サイトのみ今回はHadoopのファーストステップとして、E-MapReduceを使ってみます。E-MapReduceはHadoop分散モードを構築するとき必要となるマスターノード・スレーブノードのクラスタの作成、初期設定らプロビジョニング(Javaインストール、Hadoopインストール、各種設定etc)を自動で実行してくれます。同時にクラスタ管理および使用するための統合フレームワークが使えるため、Hadoopや周辺エコシステムを簡単に利用することができます。E-MapReduceを利用するメリット自力でHadoopおよびエコシステムの環境を構築しなくていいマスタノード/スレーブノードなどクラスタ管理など、運用をしなくていい使った分だけ料金を払うpay-as-you-go、利用期間に応じて料金を払うsubscriptionがあり、利用用途に応じて節約することが可能E-MapReduceはOSSのデータを使って処理したり、処理結果をOSSへ保存したりします。OSSをセントラルストレージとして、直接SQLクエリを投げてOSSからデータ取得することもできます。BigDataはデータが増えれば増えるほど維持費、処理のコストが跳ね上がってしまいます。OSSに処理したいDataLakeデータ、DWHなどが100TBあるとして、これをECSなど一時的なストレージに持たせるのはコスト的にも負荷が大きいです。そのため、OSSを全体的にHubとしたBigData運用が経済的にもお得です。上記、大規模なBigDataを運用するときOSSをセントラルストレージとするもう一つの理由があります。AlibabaCloudのOSSはDataLake、DWHを構築するのに必要な機能や大規模な分散サービスに必要な要件を備えています。加えて、先述した通り料金が安いというメリットを踏まえると、これ以上の選択肢はないと思います。まとめると、OSSをセントラルストレージとしたBigData運用をすると以下のメリットがあります。他社クラウドとのOSS比較としては以下の通りになります。Storageとあまり謙遜ないです。AlibabaCloudのE-MapReduceは他社クラウドと比べてかなり多くのHadoopエコシステムを搭載しています。以上の機能があり、BigDataに関するあらゆること(OLTP、OLAP、FaaS、コンテナ運用、分散で深層学習、ストリーミングで機械学習など)が詰まっています。ImpalaにKuduなど、他社クラウドサービスでは実現できないこと、また構築が困難なケースに対し解決アプローチとなるエコシステムがたくさんあります。0.28.1そういった意味では、AlibabaCloudのBigDataはかなり力が入ってることが伝わると思います。MaxComputeにHologramなど、他のプロダクトの力もありますが、E-MapReduceだけでも強力な武器となっているのはAlibabaCloudだからこそです。AlibabaCloudのE-MapReduceアーキテクチャを少しみてみます。以下のような構成図となっています。(ここには書いていないHadoopエコシステムが多数ありますがそこは割愛します)上記の図のように、E-MapReduceはECSインスタンスのローカルティスク上に構築され、HDFSは中間データの格納先として利用されます。E-MapReduceのデータ読み出しや書き込みは基本的にOSSに対して行われます。E-MapReduceには様々なファイルシステムをサポートしています。HDFS接続ファイルシステム接続EMR接続JindoFS接続E-MapReduceにはJindoFSアーキテクチャを実装しており、OSSに対しシームレスな読み込み/書き込み処理が実現できます。それだけでなく、OSSにあるDWHやHDFSなどでのメタデータの共有、管理ができるため、E-MapReduceで高速処理することができます。JindoFS接続の使い方も簡単です。通常URLパスをjfsへ書き換えるだけです。実際の利用方法は別の章にて記載いたします。まとめ本章ではOSSとE-MapReduceの相性、素晴らしさを説明しました。ストリーミングができるのはAlibabaCloudのみです。加えて、本章では触れていませんでしたがHadoopに詳しくない、BigDataが初めての人でもマネージドサービスとしてMaxCompute、DataWorksプロダクトサービスもあります。このプロダクトだけでBigData運用を自己完結することも可能です。このように、AlibabaCloudのBigData運用は非常に優位性があることを理解いただければと思います。E-MapReduce起動、ETLとOLTP、OLAPをする08/30/2019。