01:42カテゴリ「マーケティングテクノロジーの最先端を支える技術を大公開!」で発表してきましたこんにちは、スチールです。先日マーケティングテクノロジーの最先端を支える技術を大公開!というイベントに登壇しまして、「フリークアウトにおける大規模データの取り扱いのこれまでとこれから」という発表をしました。オーディエンス情報は50msの中で瞬時に取得できる必要があるので色々な制約がある中増えゆくデータに対してどう対処して、今後どうしていきたいかという話です。配信ログは、hadoopクラスタを約1年半運用してきてだいぶ安定してきた中で、こちらもどうしていきたいかという話を中心に話しました。meetupで話した内容からちょろっとアップデートがあるのでその辺と比較して見ていただけると幸いです。Managerを導入する話をアドベントカレンダーに書きましたので、よかったら見てみてください(宣伝)ちなみに、イベントページだと「歴史と今後」としてましたが、なんかもうちょい柔らかいタイトルにしたくて少し変更しました。2014の12日目の担当でした。本ブログに書こうかと思ったけどQiitaに書きました。22:41カテゴリhueでロードバランシングできるようにしてみるスチールです。2013の14日目の記事です。13日目の記事はkmizumarさんの「cdh-twitter-exampleで遊ぶ」です。今回はhueについて、ちょろっと手を加えてみたのでそちらについてまとめてみます。hueはHadoop運用してる方にはおなじみだと思われる、WebのUIでHadoopが使えるというプロダクトです。職場でも、運用には参加していないメンバーがhiveやImpalaを中心にこのhueを通して集計作業をしています。キャッシュをmemcachedにすればラウンドロビンとかでもできるんじゃないかなと思って改造を考え出した次第です。hueのソースはgithubにてclouderaが公開しています。djangoを触ったことがあれば大体検討がつくんではないかと思います。(自分は0.9系のずいぶん前にちょろっとさわったくらいでした)今運用しているhueのバージョンが2.5なので、djangoは1.2系です。(hue3はdjango1.4にverupしている模様)hueのソース構成は、desktop以下がコアとなっていて、hue上に展開されるhiveやImpala、hbaseのアプリがapps以下に展開されています。今回いじるのはdesktop以下です。最終的にrpmにして再利用しやすいようにビルドしたかったので、clouderaからhueのSRPMを持ってきてそちらをビルドしました。