hito_asaの日記スマートフォン用の表示で見るhito_asaの日記この広告は、90日以上更新していないブログに表示しています。2012-03-29fluentdを導入しました&webサーバー上のagentが結構メモリを消費するよfluentdそこそこのトラフィックのあるWebサーバー上で、アプリケーションから出力されるいくつかのログファイルを収集するためにFluentdを導入しました。セットアップはこんな感じ。Webサーバーは20台で、一番多いサーバーで800万req/dayくらいの規模です。out_forwardで計4台の集計用サーバーに流して、そこでレコメンデーションやKPIの集計を行っています。Webサーバー上のagentとして動くFluentdの設定ファイルはこんな感じ。460万行、640万行、370万行くらいです。起動は以下のスクリプトで行っていて、今のところ定期的な再起動はなし。運用開始から2週間ほどたってて、設定変更のために何回か手動で再起動をしています。最長1週間ほど起動しっぱなしでしたが、その時点で1G程メモリを使ってました。FluentdプロセスのRSSをグラフ化してみるとこんな感じ。(再起動から2日たってますが、値を取り始めたばっかなのでまだちょっとわかりません)なおVSZは起動当初260Mくらいから、2日で1.1Gくらいになってます。現状こんなところです。動き自体は一点を除いて(だれかマージして!)うまくいっていて、PV/UU/処理時間などを詳細かつリアルタイムに視覚化できていたり、ユーザーの行動データをもとにしたレコメンデーションをほぼリアルタイムに実現できています。追記メモリ使用量ですが、1日たって以下のようになりました。朝4時でログファイルのローテートが発生してるんですが、そのタイミングでスカッと落ちました。(また上がってますが)ついでに、Webサーバーからforwardされたログを受け取って処理している側のfluentdのメモリ状況は以下の通り低い数字で安定していますし、トラフィックに応じて上下しています。20th、コミュニ...2010-11-16「WebプログラマのためのScala入門勉強会@渋谷」を開催しました。古い記事ですが、kestrelの作者さんによるkestrelの紹介。月別アーカイブはてなブログをはじめよう!hito_asaさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。