PySparkで下記のようにソートしてからファイルに保存しようと思った場合。PySparkで機械学習系の処理をする際にSparseVectorに変換したいケースが多々あるのでそのあたりの処理を確認する。PySparkでDataFrameから指定の割合や指定のレコード数でランダムサンプリングする。1〜9999までの数値を持つDataFrameを用意する。PySparkでlistの中に入っている値を使ってOR条件を生成したい。ような条件を生成する。PySparkでhiveのテーブルのpartitionから最新のものを取りたかった。partitionsで取れた文字列をパースする。MovieLensのデータで各ユーザーがどの映画を見たかを、movieIdのArrayで持っているテーブルがあったとする。大きいDataFrameをページで区切りながらtoPandas()して保存してみる。1〜100万までのIDとランダムなスコアを持つDataFrameを用意する。Spark2.4から複数のArrayカラムをconcatできるようになったらしいので試してみる。ui、ログなどに表示されるプログレス表示。標準出力をログに落としていたらこれのせいでログサイズがデカくなり過ぎたので、更新頻度を調整してみる。PySparkでSELECTしたカラムの名前を変更する方法を確認する。bazの3つを持つtmp_exampleテーブルを用意。OVERWRITEしようとした際にファイルが細かくsplitされてHDFSの容量をムダに喰ってしまうことがある。SQLではrepartitionヒント文を使うことで分割するファイル数を指定することができる。PySparkはUDF/UDAFが手軽に書けて便利。カンマ区切りの文字列が入ったカラムを用意して、それをsplitしたり戻したりといった処理をudfで実行してみる。PySparkで整形したrddをtoDFしようとしたら下記のようなエラーが起きて怒られた。PySparkで作成したUDFをPythonやSparkの経験がない人にも使ってもらいたい時は、registerしてSQLで呼び出せるようにするとハードルが下がる。AirflowのSparkSubmitOperatorを使ってPySparkのスクリプトファイルをspark-submitで実行する。PySParkで行に0〜nまでの連続する数値を採番したかった。下記のような2つのカラムを持つCSVファイル(100万行)を利用。PySparkでHDFS上のファイルをちょろっと操作したい時の為に、JavaのクラスをPySparkから呼び出してlsしたりwriteしたりrmするサンプルコードをまとめておく。PySparkを利用して日本語版Wikipediaの全文を取り込んでわかち書きし、word2vecに放り込んでみる。XMLのパース、わかち書き、word2vec等の全行程をPySpark上で行う。PySparkでローカルの任意のモジュールをクラスタ上で動かしたい場合の指定について確認する。今回利用するディレクトリの構成は下記のような想定。WikipediaのXMLファイルをSpark上で読み込んでみたかったので、SparkでのXMLの読み書きについて学習する。PySpark上で任意のPythonライブラリを動かしたい。管理者ではないのでカジュアルにpipで何かを入れたりはできない。(1)リンク株式会社iMindスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。