DruidをmacOSにインストールして、実際にSQLでデータを入れたりしてみようと思います。Druidとはイベント駆動開発のための高パフォーマンスを持つ解析データストアです。概要Druidは非常に大きなストリームを格納し、クエリし、解析するのに優れているようです。Druidは集約や検索などで走るsub-secondクエリにも最適化されています。最初はDruidはアドトック解析レポートを作るためにスケーラブルに、可視化でき、マルチテナントのため作られ、また、パターンや異常を検出するため作られました。共通項を探す効率をあげる例えば、以下のような項目です。ユーザーのクリックログアプリケーションのパフォーマンスメトリックスネットワークフローによって生成されたデータなどです。ソフトウェアデザイン以下の項目がDruidのコアなデザインとなっています。テクノロジーDruidは以下の思想を持つ分散データストアである。統合Druidは様々なオープンソースデータ技術に対して親和性が高い。その間の中間データストアとして機能する。取得Druidはバッジでもストリームでも取得することができる。Kafkaなどからのデータや、HDFSなどからのバッジ向けステレージにも使うことができる。セグメントSegmentを最初に説明します。Druidはデータのインデクスを時間によってパーティションが分けて、保存していきます。基本の設定では、一つのセグメントは、一定時間ごとに作成されます。データのストラクチャは以下のようになります。列志向型ストレージ他の解析的なストレージのように、Druidはデータをカラムで保持する。列の型によって、異なる圧縮方式を取っていて、効率がいいです。検索エンジンのように、Druidはインデックスを作成して、高速化を実現している。他のデータベースと違って、Druidはオプションでデータをあらかじめ集約することができ、このステップはroll-upと呼ばれ、ストレージを劇的に効率化できる。RequestによるJSONを渡すか、SQLで実行できる。概念Druidで重要な処理概念は以下の通りです。これらは、別々のサーバーでも共有サーバーでもホストすることができる。historicalデータに対して格納したり、クエリなどの処理をするワーカーである。storageからセグメントをダウンロードしてきて、セグメントについてクエリをする。クラスタに入ってくる新しいデータの処理をする。外部のソースからデータを読み込んで、Druidセグメントをパブする役割を持つ。クライアントからクエリを受け取って、HistoricalとMiddelManagerに転送する。ブローカーがサブクレリの結果を取得すると、それらをマージしてクライアントに戻す。historicalプロセルを監視している。セグメントをどこのサーバーに配置したり、効率よく分散するようにする責任を持つ。MiddleManagerプロセスとDruidに入ってくるデータを監視している。MiddleManagerのデータ取得タスクや、セグメントパブリッシュの責任を持つ。OverloadなどのAPIのルーティングである。処理概念とは別に、三つの外部依存性がある。すべてのDruidサーバーからアクセスできる共有ファイルストレージ。S3やHDFSなどのような分散ファイルストレージである。メタデータを格納していて、一般的にRDBである。Druidは分散データベースである。ハードウェアが別でも一緒でもクエリを投げることができる。クエリの様子を以下のように示す。データソースとセグメントDruidのデータはRDBに似ているテーブルに保存されます。データはチャンクと呼ばれる一定時間でセグメントにパーティション化される。それぞれのセグメントはたくさんの行を含む単一のファイルである。オペレーションDruidは以下のようなプロセスをデータの損失なしで行うことができる。DruidをインストールmacにHomebrewを使ってインストールします。druid一般的にDRUID_HOMEは/usr/local/Cellar/druid/0.12.2/libexecのようになります。以下のようなファイル構成になります。quickstartまた、/bin以下の実行スクリプトは以下の通りです。Zookeeperを起動する以下のコマンドでZookeeperを起動します。zookeeper起動を確認してください。初期化するまず初期化します。するといくつかディレクトリが作成されます。middleManagerまたhttp://localhost:8090/console.htmlでコンソールを確認できます。Kubernetesのいろは。»プロフィール学生エンジニア。忘れてしまうので備忘録です。flaskでServerlessにホストするTelepresence概論スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。