23時17分はじめにFluentdによるログ収集システムの構築では、Fluentdを使ってログ収集システムを構築しましたが、収集したログを可視化することはできません。そこで今回は、Kibana+ElasticSearch+Fluentdを用いたログ可視化の方法を解説します。している検索エンジンElasticSearchをウエブから利用するためのフロントエンドです。ベースに開発された検索エンジンであり、Googleを始め多くの企業が利用しています。構築に必要なサーバー要件および、導入パッケージは下記のとおりです。onKibanaのインストール公式サイトから、最新のアーカイブをダウンロードし、ApacheのDocumentRootに展開します。/var/www/html/kibana以上で、Kibanaサーバーのセットアップは終了です。ブラウザで、下記のURLにアクセスすると、ダッシュボードが表示されます。http://192.168.0.50/kibana/KibanaクライアントのセットアップKibanaクライアントをtd-centos,td-ubuntuの順にセットアップします。td-centosのセットアップElasticSearchプラグインのインストールクライアントにインストールされたtd-agentは、ruby上で起動されますので、インストールされたruby環境にプラグインをインストールします。--no-rdoctd-agentの設定Apacheのアクセスログをtailプラグインを用いて監視し、イベントタグを付与したログをElasticSearchに送信します。matchディレクティブに指定したlogstash_formatは、ElasticSearchが推奨するログ収集ツールのLogStashの互換ログとして送信するために指定します。tag_keyでは、@log_nameを指定しています。これにより、ElasticSearchに送信したログから、sourceディレクティブで指定したtagの設定値を用いて、検索することができます。ログ送信間隔(10秒)</match>アクセス権の確認と設定td-agentは、td-agentユーザーで起動されますので、アクセスするログによって読み込みに失敗することがありますので、入力するアクセスログのアクセス権を確認し、必要ならアクセス権を設定します。/var/log/httpd/access_logOtherに対してフォルダへのアクセス権が無いため、再設定します。ontd-agentログ確認td-agentのログを確認し、エラーが無いか確認します。/var/log/td-agent/td-agent.log以上で、td-centosクライアントのセットアップは終了です。td-ubuntuのセットアップ基本的なセットアップ方法は、td-centosと同一です。--no-rdoctd-agentの設定td-centosのセットアップで指定した内容のうち、下記の項目を修正します。/var/log/apache2/access.logサービス再起動Unbuntuでは、td-agentをインストールすると自動起動されますので、サービスを再起動します。/var/log/td-agent/td-agent.log以上で、td-ubuntuクライアントのセットアップは終了です。アクセスログの確認ここまでの作業で、Kibanaサーバーとクライアントがセットアップできましたので、2台のクライアントにHTTPリクエストを実行して、ブラウザ上でログを確認します。Benchmark)コマンドを用いて行います。HTTPリクエストの実行td-centosおよび、td-ubuntuに対して同時接続数100、リクエスト数をそれぞれ20,000、10,000回としてリクエストを実行します。Dashboardをクリックすると、アクセス状況が確認できます。クライアントに指定したtagを検索ボックスに入力すると、クライアントごとのアクセス状況が確認できます。