diaryこの広告は、90日以上更新していないブログに表示しています。Elasticsearchに格納するというのが僕の今のところの見解です。僕は日頃の仕事はログ分析基盤を構築、運用をしつつデータ加工バッチを書いたりしています。UUといったメトリクスを日々レポーティングするのであればアクセスログ、アプリケーションログ、各サービスのマスターデータ(例:ユーザ情報、商品マスタ)などをHadoopにぶっ込んでHiveでdailyで集計すればことたります。readでとりあえずデータをぶっ込んでおいて後で解析できるところです。容量やCPUパワーが足りなくなったら台数ふやぜば簡単にスケールアウトできる。Data)のような商用DWHではできないことです。一方でバッチ処理でレイテンシはどうしても高くなるので、うちの環境ではPrestoを使っています。バッチ以外の要件としてリアルタイム処理があります。サービスがどこでどれぐらい盛り上がっているかリアルタイムに知りたいっては要件として理解できます。この場合でもNorikraで集計するという手段はあるのですが、高トラフィックになると厳しいです。秒間1万メッセージとかだったら無理だと思います。PipelineDBあたりが候補になると思います。Kibanaがダッシュボードツールとしては優れているのでKibanaを使いたい場合はNorikraで集計してElasticsearchに突っ込んでKibanaで見るという形になります。Elasticsearchで集計するという手もありますが、その場合はElasticsearchで詰まらないように気をつける必要があります。NorikraはSQL書いて登録すれば他は何も再起動しないで集計できるので便利なのですが、そのカジュアルさの反面、スケールしないのでモニタリング用途で使うのが良いのかなと思ってます。Mackerelを添えてのように。モニタリングの話が出たので見たいものを整理します。サービスごとのビジネス的なメトリクス。継続率などサービスごとの開発者的なメトリクス。APIのリクエスト数、レスポンスタイムなどマシンごとのメトリクス。インフラエンジニアが見る。HDD使用率、CPU使用率、メモリ使用量、ネットワークトラフィックなどこれらのすべてのメトリクスをFluentdを使って収集することは可能ですが、Jenkinsをジョブ管理ツールとして使うぐらい僕には違和感があります。便利なので本来のユースケース以外のものにも適用したくなるのはわかりますが。同じ理由でKibanaをモニタリングツールとして使うのは正直微妙だなと思ってます。HBase)のログをFluentdを使って収集してElasticsearchに突っ込んでKibanaで検索するのはアリだと思います。OutOfMemoryとかERRORとかの文字列で検索するのは便利ですよね。Elasticsearchはモニタリングツールじゃなくて検索ツールだと思ってるのでKibanaでHDD使用率とかを見るのはどうなのかなあと思ってます。僕は今のところ、開発者やインフラエンジニアが見るメトリクスはPrometheus+Grafanaで考えています。理由はGrafanaの見た目がかっこいいことと、Prometheusがクエリ機能を持っていてKibana的に使えるから。あとPull型なので出力で詰まらないから。Prometheusを使う場合は、マシンごとのメトリクスならnode_exporter、JVM周りのメトリクスならjmx_exporter、でことたります。それ以外は必要に応じてexporter使えば良いです。Redis使っているならredis_exporterなど。企画者が見るメトリクスはHadoopに入れて、開発者やインフラエンジニアが見るメトリクスはPrometheusに入れて、ログ検索したいなら生ログをElasticsearchに入れるのが良いかなと思ってます。この時点で3つストレージが登場してくるのがアレなわけですが、現時点では統一するのが難しいかなと思ってます。監視についてですが、本来モニタリングと監視はセットになっているべきです。Heapサイズをモニタリングしつつ監視の閾値も柔軟に変えたいでしょ。GangliaでモニタリングしてNagiosで監視とかだと別々になってしまいます。PrometheusはAltermangerという監視機能があって一応モニタリングとセットで監視できます。一応と書いたのはAltermangerはまだexperimentalな感じだからです。UI要らないというような雰囲気を感じます。UIを自作しようと思ってます。connpass発表者、参加者の皆様お...2016-06-05OSSプロダクトにissue登録する僕は今見ている社内のログ分析基盤に数多くのOSSプロダクトを使...2016-04-06アクセスログをfluent-plugin-prometheusで集計してGrafanaで表示するアクセスログをfluent-plugin-prometheusで集計してgrafanaで表...2016-03-02jstat_exporterを作ったhadoop用のexporterを作ってみた。Kibanaを6.7.1から7.1.1にupgradeした南魚沼グルメマラソン黒部名水マラソンで走ってきた掛川・新茶マラソンで走ってきた月別アーカイブはてなブログをはじめよう!wyukawaさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。