元データ分析の会社で働いていた人の四方山話スマートフォン用の表示で見る元データ分析の会社で働いていた人の四方山話この広告は、90日以上更新していないブログに表示しています。その1色々ありまして、出張にてStrataに参加できることになり、前日にあるmeetupに参加してきました。会社に深い感謝の念を抱きつつ、記録的な何かを残していきます。Strata自体はまだ始まっていないけど同会場の一部でのmeetupだったため、前夜祭って感じが出ていました。事前に発表予定だったClouderaの人等が参加できなくなったり、食べ物提供予定がなくなったりということで、400人程度参加表明をしつつ実際は50人もいないくらい?な感じでした。内容としては、Spark1.3に入ってくるDataFramesの紹介でしたが、これまじでスゴイですね。同内容がブログでも公開されています。PandasやRのdataframeにインスパイアされたインターフェースで敷居が低い(DataSourceAPIとの関連だと思うけど)多様なデータソースに対応pipelineAPIとのコンボSparkそのものが遅延評価で動くことを活かして、裏側ではSparkSQLで利用するCatalystを利用するのでパフォーマンスが良いということで、今のところは良いことずくしに見えます。※DataBricksが公開している検証結果(ブログ記事より抜粋)という感じでかなり広く受け入れられそうな機能がどんどん増えていて大変素晴らしいという感じを受けています。触ってみないとですね。Spark進化が早くて追いかけるだけでもすごく大変です。現地にいるので速報っぽいのをやってみたかったので書いてみました。Entriesはてなブログをはじめよう!rindai87さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。