マシンデータ用のプラットフォームです。システムやテクノロジーインフラストラクチャから生成される膨大なマシンデータを収集、分析、および保護する簡単、スピーディかつ柔軟な方法を提供します。問題のトラブルシューティングやセキュリティインシデントの調査を数分(数時間・数日ではなく)で済ませることができます。インフラストラクチャをエンド・ツウ・エンドで監視することにより、サービスの劣化や機能停止を防ぐことができます。顧客体験、トランザクション、挙動などに対するリアルタイムな可視性と重要な洞察も得ることができます。簡単に言うと、ログを解析・分析できるプラットフォームということでしょう。解析対象は公式ページによると、Apacheのログだけじゃなくて、IIS、Log4j、CSVなど色々ありますな。無料プランとエンタープライズプランがありますが、500MB/dayまでだったらパッケージだと無料で使えるようです。Stormがあるようで、オンラインのほうだと1GBまでデータを貯め込めて、一日どれくらいとかという制限はないように見えます。使ってみる(登録編)んで、使ってみるわけですが、前述したようにSplunkには、パッケージで導入するタイプと、APIやrsyslogなどを使ってデータを送って、オンラインでデータ解析してくれる二種類のタイプがあると述べました。僕はさくっとデータ送って使ってみたかったので、後者のアプローチを選びました。要はパッケージとかで悩まず、単に送って、データをまず見るだけですね。REST使ったり、rsyslogなどを使ったり、ファイルをアップロードしたりする方法があるようです。今回は、適当なサーバでrsyslogを使って、フォワードしてみる方法を取ってみました。いうことで、まずは何よりもユーザ登録です。Stormのトップからまずはサインアップしてアカウントを作りましょう。アカウント作ったら、メール飛んできますので、アクティベーションしましょう。アクティベーションしたら、こんな感じでプロジェクトを作る画面になります。次に、プランを決めましょう。プロジェクト名も決めます。無料で使いたいので、まずは1GBでだけストックできるプランにします。入力して、プロジェクトができるとこんなトップになります。使ってみる(設定編)ということで、プロジェクトはできたので、次は設定をしましょう。データ転送する元のサーバのIPを許可させます。こんな感じで、手動と自動があるっぽい。Typeというのは、アクセスログだったり、スロークエリログだったり、ログのフォーマットを指定します。転送元の設定ができました。転送先とかポート情報書かれています。したら、サーバ側で設定しましょう。/etc/rsyslog.confに以下のように書いておきましょう。nginxでログファイルが/var/log/nginx/default.access.logだったら以下のような感じ。@@logs3.splunkstorm.com:20636rsyslogを再起動して、ちょっと待てば、管理画面に反映されます。使ってみる(グラフ編)次は棒グラフでログの量とかを表現してみましょう。Search画面の右側に「Create」というボタンがありますので、それをクリックします。すると、「Report」と出てきますので、それをクリックします。すると、以下のようにサンプルがでます。Resultとあるので、クリックしましょう。Reportsをクリックして、今作ったグラフ名が表示されることを確認します。こんな感じで、ログを収集して、グラフ化とかがまとめてできる感じです。終わりに今回はrsyslogで単一ログだけログをフォワードして、グラフ化するまでやってみました。管理画面になれるまではどうしても時間かかるやっぱ体感が重い設定自体はすごく簡単アクセスログだけじゃなくて、log4jだったり、複雑なログを投げたりしたら、もっと便利になる気がする。無料プランでログの量も少なかったけど、ある程度大きめのログになったら、アウトバウンドのトラフィックさえ気をつければ、解析プラットフォームの実装コストが減るそういう意味では、実装する部分にコストさけない環境にある場合は、便利かもしれないという感じでした。昨今のfluentdを含めたログ解析の環境を見ると、荒木さんのスライドにもありましたが、各サーバでgrepとかすることは今だけということも現実味を帯びてるのかもしれません。コマンド叩いて出力を工夫するというのは近い将来しなくなっちゃうかもなーということもあるかもしれません。ログは散らばっちゃいますし、データ量増えると結果返ってくるまでにめちゃ時間かかるし、今回触ってみたsplunkを含め、今度どんどんこういうプラットフォームができたらいいなぁと思います。Protocolを試してみたHTTPでは簡単に取得できるクライアントのGIP(グローバルIP)。最近、Ruby率が高くなってきた@masudaKです。アクセス...2012-12-22Javaウェブオペレーションエンジニアがトラブル切りわけ時に見ていること3つ忘年会シーズンで肝臓への負担を極力避けている@masudaKです。はてなブログPro六本木で働くエンジニア。大規模とか自動化好き。どっかで会ったら、絡んでやってください。2018年振り返り2017年振り返り2016年振り返りマグロをやまほど堪能できる中野「マグロマート」に行ってきたtwigで配列のデバッグをしたいインフラエンジニアがアプリエンジニアに転身するにはこの3冊を勉強すれば十分だfacebook-php-ads-sdkを使って、Instagramに対応したクリエイティブと広告セットを作る心震えた!涙ぐみながら語る植松努のTED講演を君は見ただろうか。53で独自ドメインで運用することにしました月別アーカイブスポンサードリンクスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。