元データ分析の会社で働いていた人の四方山話スマートフォン用の表示で見る元データ分析の会社で働いていた人の四方山話この広告は、90日以上更新していないブログに表示しています。YouTubeどちらかというとSparkSQL押しな内容schemaRDDの話SparkSQLは1.2からHive/Json/Panquetなどにも対応。Spark初めにすべきことはSparkContextオブジェクトを作成することSparkContextはクラスターにどのようにデータにアクセスするかを教えるSparkContextオブジェクトを作成するに辺り、アプリケーションの情報を含んだSparkConfオブジェクトを作成するJVM毎に1つのSparkContextがアクティブにできる新しいSparkContextを作りたければstop()を行わなければならないsetAppNameにはClusterUI上に表示するアプリケーション名を渡すsetMasterにはここの値を色々入れる。Shell起動時にscという特別なSparkContextオブジェクトが作られているRDDRDDはここでかなり分量を使って書かれているので、また後でしっかり見てみます。Campの資料が参照されているスライド動画やっぱりRDDがポイントそうですね。Entriesはてなブログをはじめよう!rindai87さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。