感想とか構成パターンもう何番煎じだ?ってくらい書かれてますが、コリもせず書いてみました。Elasticsearch+Kibanaの環境を作って、タムタムさんのログ生成ツールからApacheのダミーログを流しこんで入れてみました。今回はCentOSへのインストールです。基本的にはmemorycraftさんのブログの流れのままです。elasticserchのインストールと起動ダウンロードして、起動するだけ。お試しということで、-fオプションにてコンソールにログ出力。kibana.rbこれで、Kibana+ESのインストール+起動が完了。td-agentのインストールと起動ログの流し込みはlogstashなのですが、fluentdのelasticsearchプラグインにて流しこむこともできます。td.repoとしてtd-agentのリポジトリを登録してから以下を実行します。startこれで、td-agentがインストール出来ました。10s</match>以上が設定です。td-agentはtd-agentというユーザで起動されるので、/var/log/httpdディレクトリにアクセスできるかだけ確認が必要です。いくつかの設定値について気になったので調べました。index_name:adminpackとなってるが、elasticsearchではlogstash-xxxとなってる。これは、logstash_formatがtrueの場合は、利用されないので、指定しなくてもいい。これはlogstash_formatを指定しても有効。Kibana側で画面からのtype指定は不可能。KibanaConfig.rbにて指定することは可能。logstash_format:Kibana用にlogstashフォーマットで出力するオプションこの指定があるときは、index名が「logstash-YYYY.mm.dd」となるrecord(ログ)に@timestampとして時刻が追加される。tag_key:include_tag_keyがtrueと指定されているため、record(ログ)にtag_keyで指定した文字列をキー、値としてtagの値(上記例だとdummy.apache.access)が付与されて登録される。apache-loggenのインストールと起動タムタムさんが作成されたApacheのログのダミーを生成するツールです。gem化されてるので、インストールは非常に簡単です。apache-loggenで、ログを出力します。出力先は先程設定したdummy_access_logです。/var/log/httpd/dummy_access_log秒間10アクセスログを出力してくれます。これで、Kibanaでログが見れるようになりました。簡単なログの検索ができてしまいました。他の形式のログがどうなるのかとかは、また時間があれば。感想とか非常に簡単でした。いくつかこうなるのかな?というのを試してみたのでメモを。溜まったログの削除は手動?おそらく。日付ごとにindexが出来上がっているので、削除は楽そう。「logstash-年月日」なので。認証とかかけれるの?ログ検索は内部でするだろうから、まぁ、なくていいのかな。複数行のログとかってどーすんだろう?(JavaのExceptionとかが混ざるやつ)本格的に触るようになれば調べるかなぁ。あと、ログが増えてきた時にどういった分割構成ができるだろう?って思って考えてみたのが以下になります。構成パターンログを複数扱う場合は次のようなパターンがありそうかと。「@log_name」という名前=fluentdのタグにてログを識別することで、異なるログを検索することができそうです。タグであれば、プラグインによってはログ出力時に制御も可能だと思うので、td-agentの設定を変更したりすることもなく対応が可能かと。ログの種別ごとにKibanaのプロセスを別にして起動したいといった用途には向いてなさそうです。type_nameによる識別ElasticSearchの機能であるtypeを利用したログの識別パターンです。fluent-plugin-elasticsearchの設定でtype_nameを指定しました。ここを別の名前にすることで、識別することも可能です。この場合はKibanaの画面から指定して検索することができません。→コメント頂きました。検索条件に「_type:タイプ名」と検索することでtypeを利用した検索が可能です。タグ(@log_name)でも識別できるようにするなどの工夫が必要です。その代わり、タグ識別ではできなかったKibanaのプロセスを別にして起動することは可能になります。KibanaConfig.rbのTypeに値を設定することで、起動したKibanaが対象とするログを絞り込むことが可能です。することで例えば、apache用のKibanaとtomcat用のKibanaは別プロセスにして、ElasticSearchのクラスタは1つという構成も可能になります。ElasticSearchサーバを別立てElasticSearchサーバをそもそも別のプロセスor別のサーバで起動し、Kibanaも別々にすればログの識別も可能です。可能ですが、色々と管理するものが増えてめんどくさそうですね。ログ種別ごとに名前を変更することで識別できます。logstash形式でないインデックス名の場合、日付ローテーションができなかったり、Kibana内部で検索時に日付で検索対象を絞り込んで検索することで高速化するといった処理など、使えない機能が多々出てきてしまうのであまりおすすめじゃないかと。いうことで、流行りものは触っておこうということで、さわってブログ書いてみました。開発中に立てておいて、各サーバのログを流しこんでおくなどにも利用できるかもしれないです。アラート通知などの機能が出てくるともっと便利かもしれないです。