元データ分析の会社で働いていた人の四方山話スマートフォン用の表示で見る元データ分析の会社で働いていた人の四方山話この広告は、90日以上更新していないブログに表示しています。GuideからRDDを中心に。Datasetストレージにあるデータソースから分散データセットを作ることもできるストレージとしては幅広く対応しているファイルフォーマットとしてはHadoopのInputFormat例えば、テキストファイル読み込みはSparkContextのtextfileメソッドでデータソースのURIを記述するファイルを読む場合の注意点ローカルのファイルパスを読む場合、全てのworkerノードが同一のパスで参照できなければならない。41は外部ファイルからRDDを定義している実際の読み込みが行われるわけではないlinesは単なるファイルへのポインタ2がtransform。各行の長さを求めている遅延評価なのでこのタイミングでは実行されない3がaction。各行の長さを足しあわせている。このタイミングでSparkは処理をタスクに分割している分割された処理ごとに各マシンでmapとlocalでのreduce処理を行う4がpersist。program内の関数を渡すことを強く信頼していて(必要としてる?)、推奨される方法は2つ無名関数を渡すグローバルなシングルトンオブジェクトの静的メソッドとして渡すクラスインスタンスのメソッドへの参照も渡すことができるが、メソッドを含んだクラスオブジェクト全体を渡す必要があるつまり通常のクラス定義でメソッドを書いた場合、内部的にインスタンスを参照するコードになることが多いため、メソッドのみクラスタにばらまくことができないという話かな、と。levelを選ぶことができる。choose?メモリの使用量とCPU効率のトレードオフMOMORY_ONLYで問題ないサイズのRDDならそのままで良い。CPU効率が最も良いオプションMEMORY_ONLYが辛ければMEMORY_ONLY_SER(RDDをシリアライズされたJavaのオブジェクトとして保持する。ValiableSparkのoperationがリモートの各クラスターノードで実行される時、関数で使われる全てのデータの部分コピーに対してどうさせている。variableを作ることができる。Entriesはてなブログをはじめよう!rindai87さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。