バックエンドElasticsearch全文検索時エンジン+RestfullAPI。最近人気急上昇らしく事例も増えてきている様子。1Fluentdプラグインhttps://github.com/uken/fluent-plugin-elasticsearchGraphiteリアルタイムにグラフを生成するためのバックエンド。python製であり、以下の3つのコンポーネントで構成されている。webappグラフ描画/APIを提供するDjangoアプリ。carbon時系列DBを提供するバックエンド。whisperRRDToolsの代替?Graphite単体でもグラフを生成できるが「時系列DBのAPI」として使われることが多いのかな?API部分がapache+python(wsgi)なので、慣れていないと導入が多少面倒かも。いろんなコンポーネントで構成されているので少しfatな印象を受けた。Fluentdプラグインhttps://github.com/studio3104/fluent-plugin-graphiteInfluxDB時系列データベース+API。Database/series(Table)というRDBMSっぽい管理ができる。SQLクエリを発行してグラフを表示する、というWeb画面もついてくる。勢いを感じるが、安定度はどうなんだろうか。Fluentdプラグインhttps://github.com/fangli/fluent-plugin-influxdb可視化ツールKibana※2014/10/17追記:kibana4がベータリリースされましたいくつか大きな変更点があるようです。詳しくは以下の参考URLをご参照下さい。BETAファーストインプレッション※以下、kibana3の説明ですログ解析&可視化ツール。Kibana+Elasticsearchというのが今の流行りっぽい1。KibanaはただのWebページ(ブラウザから直接Elasticsearchを参照する)。バックエンドはElasticsearch。ダッシュボードを自分でカスタマイズできる(逆に、ある程度自分で作りこむ必要がある)luceneクエリで集計/フィルタ出来る。集計だけでなく、生ログ検索が出来るのが良い。あとTopN分析などもKibanaの設定で可能。今回紹介する中では一番柔軟に出来そうなイメージ。Splunkに近い?という印象。GrafanaGraphiteをバックエンドとし、Kibanaっぽいダッシュボードを生成するためのソリューション。(というか、Kibanaがお父さん)元々はGraphite用であったが、最近InfluxDBにも対応した様子。Kibanaと同様に、GrafanaもただのWebページで構成されている。ダッシュボードの保存にはElasticsearchを利用しているらしい。以下は、Kibanaと比べて地味に嬉しい点。パネルのコピーが出来るダッシュボード変更してから未保存でページ閉じる時、きちんとアラートを出してくれるTasseoGraphite/InfluxDBのリアルタイムダッシュボード生成ツール。Ruby製のwebサーバ。出来ることは少ないが、config.jsにメトリクスを羅列するだけでリアルタイムグラフが描けるお手軽さは良い。補足して頂きましたGiraffeGraphiteのダッシュボード生成ツール。dashboard.jsを設定するだけでいい感じに可視化出来る。ダッシュボードデモが見れる。GiraffeデモサイトInflugaInfluxDBのダッシュボード生成用ツール。Grafanaの対抗馬?Node製。設定は画面からポチポチ系だがKibanaなどと比べるとだいぶお手軽にグラフを作ることが出来る1。リリースされたばかりということもあり、表示が微妙なところもあったり。開発は活発なようです。番外編:Norikraストリーム集計ツール。SQLっぽく検索集計出来るのが特徴。上記とは少しロールが異なり、直接バックエンドになるという感じではなく集計する部分にのみ特化しているツール。ログ収集の途中に差し込んで集計を柔軟/楽にする、という立ち位置?(Fluentdでいうところのdatacounterとかその辺りをさらに柔軟に書くことが出来る)また、JVMを運用したことがないのでその辺りが不安ポイント。今回、元々の要件ではリアルタイムログ表示+集計がしたかったので、Kibana+Elasticsearchが合ってるのかなぁと思いました。お手軽さ優先ならInfluxDB+Tasseo/Influga。Graphite+Giraffeも軽く触った印象は良かったのでもう少し試す予定。ちなみに性能/安定性は考慮していません。ログが集中するとどうなるか、またはメトリクスの数を増やした時にどうなるか、は気になるところ。補足いろいろ調べているうちにログ集計だけでなくてリソースモニタリングも出来そうということがわかりそうなるとSensuも紹介したほうがいいのかなぁと思いましたがそこまで調べるとだいぶ大変そうだったので今回は入れておりません。機会に触ってみたいと思います。upLoginユーザーは見つかりませんでした。