Science祭り」を開催しました。href="http://connpass.com/event/34680/">connpass.com</a></cite>今回はClouderaに入って初めてのコミュニティイベントということでしたが、なんと400人を超える応募をいただいてとてもありがたい限りです。会場をご提供いただいたDMM.comラボ様、発表いただいたサイバーエージェントの内藤さん、DMM.comラボの加嵜さん、LTの皆様ありがとうございました。作っているライブラリです。ひとことで言うと、pandasのプログラマブルな処理を大規模データにもできるようにします。likeなDSLでpandasと連携できるようにしており、データがTB以上のデータに対してもSQLを書かずに試行錯誤できます。日本語の情報はかなり少ないのですが*1、こちらのブログが参考になると思います。Azureに簡単にImpalaクラスターが立てれるのでおすすめです。Director導入方法はこちらが参考になります。Ibisの詳細は資料を見ていただければと思いますが、いくつか補足をしたいと思います。SQLじゃなくてプログラマブルなのは何が嬉しいの?pandasをお使いの方はわかると思いますが、SQLに比べると試行錯誤がやりやすいと思います。SQLの途中結果を変数に格納できるので、途中までの処理は共通でそこから先を複数パターン作るというのも同じ変数に格納して、後段のメソッドチェーンを変えれば楽にできるというメリットが有ります。Recordみたいなイメージです。Sparkより7倍速いのは嬉しいの?大事なのは15TBのデータを4.4秒で処理できる*2というスピード感です。処理を投げて帰ってくるまでの時間が短いと、思考の中断が減ります。ビルドやテストに時間がかかってコーヒーをいれにいく、みたいな経験はあるんじゃないかと思います。その断絶がなくなるので、考えを継続できますし、ポッと思いついたことをどんどん試行錯誤できます。endでPythonを使って分析をしたいという想いでスタートしています。個人的にはJupyterとともに対話的に試行錯誤をする強力なツールになっていると思います。ImpalaとPython/pandasをつなぐものとしてスタートしたのですが、RedshiftやPrestoなども今後対応していきたいということも言及されています。プロトタイピングにJupyterとIbisを使うというのが良いと思います。プロトタイプ後にSparkSQL*3でバッチとして安定化をはかるということもできるでしょう。scikit-learnでみたいな使い分けは可能だと思います。href="http://www.slideshare.net/cyberagent/ameba-64381671">www.slideshare.net</a></cite>Amebaでの協調フィルタリングによるHBaseを使ったリアルタイムレコメンドの話。Hadoopスタックだとリアルタイム性を出すのにはHBaseを使うのが多いのですが*4、更にClick数を取得してバンディットアルゴリズムも使っているというのは凄いですね。単純なA/Bテストをするという話はDMM.comラボの加嵜さんもお話されていましたが、バンディットアルゴリズムを組み合わせることで、レコメンド結果が複数のロジックの中でも良い物に動的に改善されていくという仕組みが入っています。僕個人としてはこうした取り組みを聞いたことがなかったので、とても驚きました。href="http://www.slideshare.net/knagato/sparkrecommendtuning">www.slideshare.net</a></cite>チューニングの話もインパクトが大きかったですが、jsonで「レシピ」を書けば、自分のサービスのレコメンドモデルができるという話はとても驚きました。これを使えば、レコメンドに詳しくない人でも簡単にサービスに導入できそうです。ログフォーマットをきちんと統一して横展開をしているのでしょうね。ProcでSparkを使ったら/tmpにjarが貯まるなど、いろいろハマった話を紹介いただきました。href="http://qiita.com/uryyyyyyy/private/efd4e96d292ffdedf2ef">qiita.com</a></cite>EMRにAnacondaをいれてPySparkでモデルを作る話でした。逆質問でJuliaを使ってると答えた人が2人くらいだったとのことで寂しかったです。ついてDAGを見よう!という話でした。ポケモンGO仲間を募集しているとのことです。終わりにやはり、自社で手を動かして取り組まれているという話は、様々な知見が含まれていてとても楽しかったです。AmebaのHBaseを使ったリアルタイムレコメンド+バンディットアルゴリズムという構成や、DMM.comラボさんのレコメンドの「レシピ」を書くだけで新規サービスのレコメンドモデルができるという話は衝撃的でした。自分がホストしたイベントの中では過去最大の募集人数だったのですが、大盛況のうちに終わりました。ご協力・ご参加いただいた皆様ありがとうございました。今回参加できなかった方もたくさんいらっしゃると思いますので、また次回もこういったイベントをできればと考えています。