BrainPad株式会社ブレインパッドのデータ活用に関する取り組みや製品・サービス開発の裏側、社員の日常などをご紹介します。2016-05-10Sparkとブレインパッドのここ数年の歩み技術エントリーこんにちは。基盤開発部の下田です。素晴らしく日取りの良いゴールデンウィーク(GW)だったおかげで、なかなか労働意欲が湧いてきませんね。私の周りもGW前に行っていた作業の記憶が曖昧になっているエンジニアがたくさんいます。Spark」という書籍を技術評論社から出版させていただきました。Sparkとブレインパッドは2年越しくらいの付き合いになりますので、本ブログでこれまでの歩みを振り返ってみたいと思います。Spark」には、ありがたいことに、私を含めてブレインパッドのメンバー2名が共著者として名前を連ねさせていただきました。ブレインパッドはデータ分析の企業として比較的知名度は高いかと思いますが、Hadoop/Sparkを使っている会社だという認識はほとんどないかと思います。実はひっそりとここ2年ほどSparkとは何かと関わりがあり、結果今回の書籍出版に至りましたので、この機会にこれまでの歩みをご紹介したいと思います。2014年ブレインパッドは、2014年にSkytreeという機械学習ソフトウェアの販売代理店となりました。Incの本社があるサンノゼへ研修出張に行きました。Skytreeは、スケーラブルな機械学習ソフトウェアで、Hadoop上でも動くというのが触れ込みのため、たまたま前職でHadoopを触っていた経験のあった私もメンバーとして入れていただいたわけです。この出張がアメリカの大規模データ分析のトレンドなどに触れるきっかけとなり、Sparkがすごく注目を集め始めていることを知ったわけです。実際にSparkについて調べてみると、確かに良さそうかも、でもこれからどうなるかなー、という印象でした。その後、Sparkとの積極的なお付き合いはなく、徐々に盛り上がってきているな、と横目で見ている感じでしたが、転機は同じ年の12月に訪れます。とあるきっかけにより、Sparkを中心に据えたプロダクト開発を行っているインドの企業への視察出張の話があがったのです。ここで少しSparkについての知識を体系的に仕入れることができました。出張先では、Sparkの実用例などを聞くことができ、Sparkのメリットなどをかなり具体的にイメージすることができました。この視察出張が、ブレインパッドとSparkがぐっと近くなったキッカケだと思います。2015へ参加することとなりました。ここが第2の転機となった気がします。Spark関連のセッションが大盛況で、「これは来るな」と確信し、同行した人たちと盛り上がったことを、今でも覚えています。日本に帰国後に同イベントの社内報告会を実施し、プロダクト開発が少し落ち着いているメンバーに声を掛けて、隙間時間でSparkの評価も実施しました。その結果の一部は、本ブログでも公開しています。blog.brainpad.co.jpこの時のメンバーが中心となって、弊社の自社開発製品「DeltaCube」の裏側では、一部Sparkが利用されています。www.brainpad.co.jpというような感じで、徐々にSparkとの距離が近づいたタイミングで、共著者の石川有さんよりお声がけいただき、執筆メンバーに加えていただきました。Sparkでの露出を少し増やした結果、@ITさんにお声がけいただき、IBMさんとの対談も実施させていただきました。www.atmarkit.co.jp2016年ムック本執筆の経験はあったので「大丈夫だろう」くらいで引き受けましたが、「書籍」かつ「共著」となると思った以上に執筆は大変でした。1、2、3章という比較的ライトな部分を担当したので、「まあ、何とかなったかな」というのが正直なところです。共著なので、テイストや文体、年末年始にかかる作業進行の取りまとめなど、技術評論社の高屋さんには終始大変なご迷惑をおかけしっぱなしで、頭があがりません。2.0のアナウンスがあり、1.6をターゲットとして書かれていた本書をどうするか、というゴタゴタもあったのですが、その辺りの裏話はきっと出版記念イベントで共著者の誰かが話す気がします。この手の変化の激しいプロダクトにはありがちな話ですが、いざ直面するとなかなか難しい話だな、と思いました。connpass.comおわりにブレインパッドは、Sparkをはじめとするビッグデータ処理系の技術に積極的に取り組んでいます。ビジネスモデル的にはSparkがもっと普及してこないと、自社プロダクト以外でSparkを触る機会は持ちにくいな、と感じています。Sparkがもっと普及し、さまざまな企業で積極的な導入が進むことを、個人的には願っています。そんなブレインパッドでは、エンジニアはもちろん、積極的に人材を募集しています。採用ページスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。