虎塚(144)42この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。こんにちは、虎塚です。Service)」を聴講したのでレポートします。Pillaiさんで、いずれもAWSの方でした。Serviceは先日リリースされたばかりの新サービスです。ES)は、クラスタのデプロイ、管理、スケールが簡単にできるサービスです。システムで扱うデータの増大クラウドコンピューティングでは、データは増加し続けています。データを集めることは簡単になり、昔よりも安価に保存できるようになりました。プロダクトのデータ、システムのログデータ、顧客との会話(CSR)、マーケティングデータなどが増大して、テラバイト単位の量になることもあります。これらの大量データに対してなにができるでしょうか。data」という言葉があります。データが巨大になり、集めることが簡単になりましたが、本当の価値は分析の中にある、という意味です。情報を共有する洞察を引き出すパターンを理解するパフォーマンスを追跡するなどの用途がありますが、最終的に、ビジネス、技術、オペレーション上の意思決定が必要です。全文検索まず、ナレッジ共有システムでの全文検索について考えてみましょう。次に、侵入検知について考えてみます。ここでは、高速に生成されるデータを、高速に分析するタスクが重要です。バッチデータ最後に、ユーザの利用方法をモニタリングすることについて考えてみます。ユーザが生成する膨大なデータを扱います。あなたはモバイルアプリの開発者ですアプリの複数バージョンにわたるユーザの操作を監視/管理しなければなりませんアプリの使用方法とバージョン間の移行について分析し、レポートしたくなるでしょうオプションのツール群これらのシナリオに取り組むにあたり、採用可能なオプションのツールとして、Cassandra、Hive、Hadoop、Mahout、MongoDB、Spark、Solr、そしてElasticsearchなどがあります。有名なオープンソーステクノジーがたくさんあります。Elasticsearchは何をしてくれるツールかElasticsearchは、パワフルでリアルタイム性のあるオープンソースの分散検索/分析エンジンです。大規模なデータを検索できます。stackと呼ばれています。Elasticsearchの運用には手間がかかるのが問題でした。ESが発表されました。このサービスを使えば、Elasticsearchクラスタのデプロイ、運用、スケールが、AWS上で簡単に操作できます。Logs、DynamoDB、S3、KinesisなどのAWSサービスともつなぐことができますデモクラスタ作成画面の解説インスタンスタイプと個数、ストレージタイプなどを選ぶだけで、非常に簡単にクラスタを作成できます。データノードとマスターノードの設定をします。次に、ストレージの種別や容量を指定します。ストレージにはインデックスなどが格納されます。オプションとして、チェックボックスにチェックするだけで、2つのAvailabilityZoneにクラスタが自動的に分散配置されます。CLIコマンドドメインの作成/削除、タグの追加/削除など、ごくシンプルなコマンドが用意されています。ドメインに名前をつけて作成するesコマンドは、次のようになります。APIのシングルエンドポイントです。クラスタをモニタリングしますなお、負荷がかかったときのスケーリングの設定変更は、サービスを停止することなくオンラインで実行できます。データパーティショニングドメイン内のインデックスの様子が、次の図に描かれています。各シャードがドキュメントを保持します。データの集合クラスタへのインデックスのデプロイスライドを参照ください(黄色の四角形がノードです。3個のノードで1個のクラスタを構成しています)。プライマリの各Shardが、それぞれ別々のインスタンスに配置され、冗長性が確保されます。