notebookスマートフォン用の表示で見るnotebook都内でWEB系エンジニアやってます。kibanafluentd+elasticsearch+kibanaを導入してみたのですが色々と詰まったところがあったのでこの機会に残しておきますelasticsearchへの転送dstatはすでにあるし、あとはcopyしてelasticsearchに流すだけだし余裕っしょ♪とか思っていたら見事にはまりました。送ったログをいざグラフ化しようとしても何も選択肢が無いwレスポンスコードとか、レスポンスタイムとか数値として扱うべきメニューが出てこないelasticsearch-headプラグインで型を確かめると全部stringになってる!!!!!elasticsearch側でデフォルトテンプレートを用意してあげる方法もあるようですが、fluentd側で定義してあげればelasticsearchでは空気読んでくれるようなので今回はfluentd側で対応することにしました。そもそもfluentdでは型を特に指定しないと全てstringとして扱っているようですなのでfluentdで何か値を生成したりした場合はcastしてあげないと転送先でちゃんと動いてくれない現象に陥りますこれは運用開始前に気付いてよかった。ログ収集~可視化をよく読んだら載ってたのでちゃんと読もうねって話ですね。今回はfluent-plugin-typecastを使ってdstatでとった値を全て数値型に変換しました。</match>せっかくdstatで一項目づつ書かなくてよくしたのにだいなしでした。code:integer,size:integer,request_time:float</source>ちなみにfluent-plugin-cloudwatchとかは数値型で送ってくれていたので何もする必要はなかったです。elasticsearchへの転送2やっと平常運転に入れたかと思ったら下記ログに出くわしました。bytes.fluentdの設定で、buffer_chunk_limitを多めに変更したのでelasticsearch側で受け付けきれなくなったみたいでしたなのでelasticsearch側で受け付けられるサイズをfluentdのバッファーサイズと同じにしました。%Y%m%dにしてても、一日に複数ファイルがでてくる件buffer_chunk_limitに気をつけようねっていうことですねこれは通常のファイルへの出力でもはまるので覚えておいて損はないはず最初pathにインデックスがあるからダメなんだと思って%{index}を抜いた設定にしたら一度書き込まれてそれ以降何も書き込まれないっていう状況になったs3の場合は追記ができないのでファイル出力以降はエラーが出てました。ファイルだけあるの確認してOK!でも実はほとんどバックアップできてなかったなんて落ちになりそうな感じですね。(1)はてなブログをはじめよう!swfzさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。