nigoblogスマートフォン用の表示で見るnigoblog技術系会社のCEOブログ~私的編~この広告は、90日以上更新していないブログに表示しています。webマーケティング最近ビッグデータを取り扱ってきているので、その流れを記録しようかと思います。Railsで構築していますが、一部以外は別の言語やフレームワークでも利用できます。見るっていうのがすごくしっくりきました。データサイズに悩み始めてきたため、ビッグデータを取り扱っているといえるでしょう。した流れはfluentdのインストールtd-loggerでアプリケーションログの吐き出しtd-loggerで受け取ったログをS3に送信S3のデータをHadoopで解析Hadoopで解析したデータをRDSに突っ込むというような流れとなっております。fluentdのインストールこれはいろんなところで書いてあるのであまり深くは書きませんが、こんな感じでインストールします。jsonみたいな感じです。})アプリケーション名をmy_appとするとログは2014-03-29T00:40:11+09:00my_app.test{"hoge":"piyo"}みたいな感じになります。次は2014-03-29T00:40:11+09:00my_app.test{"hoge":"piyo"}こちらのログをS3に入れます。</match>これでオッケー。あとはしばらく動かして、バケットの中身を見ると、gzip形式のファイルがどんどん溜まっていきます。それをhadoopで処理します。/var/log/td-agent/td-agentなどでログを見て行きましょう。いうわけで今回はここまで。次回はhadoopで処理する方法を書いていきます。山南敬介にみる”組織力”について~歴史から学ぶシリーズ~2017年は「WEBブランディング広告」元年になる。plusGoogleはてなブログをはじめよう!nigohirokiさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。