01:42カテゴリ「マーケティングテクノロジーの最先端を支える技術を大公開!」で発表してきましたこんにちは、スチールです。先日マーケティングテクノロジーの最先端を支える技術を大公開!というイベントに登壇しまして、「フリークアウトにおける大規模データの取り扱いのこれまでとこれから」という発表をしました。オーディエンス情報は50msの中で瞬時に取得できる必要があるので色々な制約がある中増えゆくデータに対してどう対処して、今後どうしていきたいかという話です。配信ログは、hadoopクラスタを約1年半運用してきてだいぶ安定してきた中で、こちらもどうしていきたいかという話を中心に話しました。meetupで話した内容からちょろっとアップデートがあるのでその辺と比較して見ていただけると幸いです。Managerを導入する話をアドベントカレンダーに書きましたので、よかったら見てみてください(宣伝)ちなみに、イベントページだと「歴史と今後」としてましたが、なんかもうちょい柔らかいタイトルにしたくて少し変更しました。Meetupで発表してきましたこんにちは、スチールです。ものすごーく久しぶりに勉強会で話してきました。自分だけ写真がちょっとおかしい人みたいなかんじですね。僕の発表は「マゾいログ回収の話と未来」というタイトルでして、所属するフリークアウトでのログ回収の今までとこれからというような話をしてきました。発表スライドはこちら。限られたリソースの中で大量に発生するログを集めるのはちょいちょい工夫がいるね、というのが伝われば幸いです。今後やっていきたいこととして、全てのログを集めるということと、リアルタイムに分析可能な体勢にすると発表してしまったので、それに向けてこれからもチャレンジしてきたいところです。いい具合になったらまたどこかで「あれから」的な話ができたらいいなぁと考えております。イベント後さっそくまとめてくださった方がおりますので、その他の発表については下記を見てもらえればと思います。-また、イベントを主催してくれましたトレジャーデータさん、dots.さん共にありがとうございました。スライドでも触れましたがトレジャーデータさんのモニタリングサービスにはお世話になっております。v1およびtd-agent2と共に楽しみにしております。最後に自社宣伝ですが、フリークアウトではログを活用するエンジニアを募集しておりますので、ご興味がある方はぜひtwitterとかでもなんでもいいのでお声がけくださいませ。(ログ以外でもエンジニアを募集しているのでぜひ御覧ください)大規模広告配信システムのビッグデータを解析するエンジニア-WANTED!!ではでは。