シス、再び受託でDB屋さんと流浪する人のブログです。6.9の上でapache-loggen使いたくてゴタゴタした。とある製品の検証をするにあたり、ある程度リアリティのある大量データがほしいなと思ったところから。6.9の上でapache-loggen使いたくてゴタゴタした。Kibanaatsuizo.hatenadiary.jpの際に扱っているLogstashですが、この時使用したファイルとは別のファイルを取り込もうとしてハマりました。何が原因なのかログから見えにくい、ということもあり、こちらに記録を残しておきます。なからなLifeにて当初予定していたもの全部は記事化できなかったのですが、一旦締めさせていただこうと思います。これまで、Logstashやfluentdが、「ファイル」を読み込んでelasticsearchに流し込む事例を扱ってきましたが、どちらも、「データベース」から直接読み取って、elasticsearchに流し込むことができます。「Fruentdのバッチ版」と呼ばれることが多いツールで、FruentdやLogstashが逐次生成されるデータをストリームとして扱って転送するのに対し、Embulkはほぼ変化のないデータの塊を転送するのに向いているエージェント、という位置付けになります。さまざまなデータソースから情報を収集し、さまざまなstash=格納庫にデータを投入する機能を提供するツールです。beatをインストールしたマシン上のファイルを監視し、その内容を収集するbeatです。beatをインストールしたマシンのネットワーク・インターフェースを監視し、その内容を収集するbeatです。ネットワークパケットの内容は、プロトコル毎に整理されます。システムの統計情報(Metric)を収集するbeatです。いわゆるOSで取得できるCPUやメモリなどの情報、および、モジュールを通してApacheやMySQLその他の統計情報も、ちょっとした設定をするだけで収集できる様になっています。概要のところで説明したとおり、エージェント経由でElasticsearchに情報を収集するのですが、選択肢が結構多いですね。ある事例、記事だと、日本ではFluentdが圧倒的に多くて、次にLogstash。データを入れる器としてのElasticsearchを立て、それを参照させるようにKibanaを立て、また、器にデータを入れる仕組みを用意する、という順番で進んでいきます。www.elastic.coがあっさりとしていますが、要はオープンソースのログデータ解析/可視化ツールです。基本的に、リアルタイム検索エンジン「Elasticsearch」とセットで使われます。なんかKibanaが流行っているみたいなので、今更感はありますが、とりあえずいじってみることにしました。読者になる@atsuizoをフォローRSSFeedlyへの登録はこちらからFeedly以外への登録は、お手数ですが以下URLを登録お願いします。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。