チートシートPythonSpark目的Sparkのよく使うAPIを(主に自分用に)メモしておくことで、久しぶりに開発するときでもサクサク使えるようにしたい。Docs)を見て下さい。ワイルドカードや正規表現も使える。y)6ペアRDDに対する操作ペアRDDをつくるペアRDDはPythonでいうTupleを要素に持つRDD。keyとvalueを扱うことができる。作り方はkeyByを使うかmapで要素数2のタプルを要素に返す。サンプリングしたRDDを返す。引数で同じ要素の重複を許すか決める。固定されたサイズのサンプルをリストで返す。引数で同じ要素の重複を許すか決める。RDDをそのまま(デフォルトではメモリに)キャッシュする。RDDの永続化を解く。永続化レベルを変える時などに使う。.take(5)DataFrame特に構造化データを扱うときはこちらの方が便利。stringかColumnオブジェクトを渡してselectしたDataFrameを返す。カラムを列挙して複数列取得したり、演算することもできる。stringの条件に合う行だけからなるDataFrameを返す。whereはfilterのaliasである。jsonの形でRDDに変換する。このあとsaveAsTextFileを呼べばjson形式で保存できる。StreamingやMllib関連もこちらに追記していくかもしれない。upLoginユーザーは見つかりませんでした。