元データ分析の会社で働いていた人の四方山話スマートフォン用の表示で見る元データ分析の会社で働いていた人の四方山話この広告は、90日以上更新していないブログに表示しています。その3今日は自分的に楽しそうなセッションが盛りだくさんですね。メモはけっこう適当です。Sparkとあるが何を選ぶべきか。Hastings全てはカルチャーのなせる技な気がしました。2015席がうまく確保出来ず、メモを取る余裕もありませんでした。パーティションが大事、はとりあえず覚えているのでまた復習的な何かが必要ですね。あとは、やっぱりshuffleがきついのでここをいかに回避するかが一つのポイント、みたいな感じでしょうか?shuffleについては、この日の午後に一つセッションを設けて話されていました。2015MesosとYarnをmanageするMyriadの話でした。これからのプロジェクトだと思いますが、MapRが主導していくとのことなので、個人的にはDrillのように急激に伸びてくるんだろうなぁと思っています。BroadcastHashJoin1.2から設定できる。programはDriverで実行transformはworkerで実行collect()を大きなRDDで呼ぶとOOMKillerで死ぬと、出来る限りメモリましたが、不完全なことこの上なく。同行者の方から、この手の話はgithub上にも公開されてるよー、と教えていただいたので合わせてshareです。今日はDatabricksとMapRのTシャツをゲット!Tシャツが累計10枚くらいになりました。いうわけで、長いようで短かったようなStrata出張終わりです。消化しきれていない部分を早く消化しないとなー、という感じです。余談ですが、Strataへの参加層として、中国人、インド人はすごく多そうでしたが、やはり日本からはほとんど参加されていないんですね。Entriesはてなブログをはじめよう!rindai87さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。