nigoblogスマートフォン用の表示で見るnigoblog技術系会社のCEOブログ~私的編~この広告は、90日以上更新していないブログに表示しています。webマーケティング今回は収集したデータをどう解析していくか書いていきます。解析にはHadoopを利用します。MapReduce)を使います。fluentdのインストールtd-loggerでアプリケーションログの吐き出しtd-loggerで受け取ったログをS3に送信S3のデータをHadoopで解析Hadoopで解析したデータをRDSに突っ込む今回は前回の続きということでS3のデータをHadoopで解析から解説します。Hadoopの処理はSQLライクに書けるHiveを利用します。先程も書きましたが、EMRを利用します。基本的にはコマンドラインのみでやっていきます。コマンドラインツールを予めインストールしといてください。見るEMRの起動まずはEMRの起動から認証系の設定ファイルを書きます.credentials.jsonをホームディレクトリに追加。技術評論社こちらが参考になります。¥--hive-interactiveこれで起動が完了です。taskのインスタンスグループがあります。masterとcoreは必ず必要です。そのグループのインスタンス数を指定。hiveを使うためのオプション。これがないとhiveが使えません。HiveこのようにWAITINGとCOMPLETEDと表示されていれば利用できます。DNS]ユーザーはhadoopユーザーを利用します。sshでログイン後hiveと入力します。するとhiveのコンソールが表示されます。S3からデータを取り込みます。(厳密には取り込むっていい方は違うっぽい(もうちょい詳しくなりたい))イメージ的にはテーブルを作ってそこにS3のデータを取り込むこの辺はこちらを参考にしました。'\n'このようなテーブルを作成します。stringこのようなcolumn情報が表示されます。前回の記事からログは2014-03-29T00:40:11+09:00my_app.test{"hoge":"piyo"}このような感じになります。"piyo"}というデータが入っていきます。この段階ではソースは指定されていません。ソースの指定はパーティションの追加により行います。's3://[S3のバケット名]'このように行います。ここまででhiveでS3に保存したデータを取り扱うことができます。[テーブル名];とすると仮にS3の内容が2014-03-29T00:40:11+09:00my_app.test{"hoge":"piyo"}2014-03-29T00:40:11+09:00my_app.test{"hoge":"fuga"}だとするとそのまま2014-03-29T00:40:11+09:00my_app.test{"hoge":"piyo"}2014-03-29T00:40:12+09:00my_app.test{"hoge":"fuga"}と出てきます。jsonが少々扱いにくいのでこのように書くとjsonの中身を利用できます。hogeとするとpiyofugaとなります。"piyo"とするとpiyoのみが取り出せます。前回のと組み合わせるとアプリケーションログを取得し、かつhiveにより利用出来るようになりました。今回はボリュームが多くなってきたので、この辺で。次回はこれらの処理をrubyから動作させる方法について書いていきたいと思います。参考図書この本は本当に参考になりました。最初に読むべき本かと思います。解析編Tweet広告を非表示にする関連記事2014-04-30新しく技術・知識を身に付けるためのやりかた最近スキルの幅が広がったかなと思います。今回はhiveの動作を自動化させる方法に書いていきます。山南敬介にみる”組織力”について~歴史から学ぶシリーズ~2017年は「WEBブランディング広告」元年になる。plusGoogleはてなブログをはじめよう!nigohirokiさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。