PySparkDataprocのJupyter環境を構築します。個人的にはDatalabよりJupyterの方が使いやすい印象があります。(Datalabを使いこなせてないのはありますがライブラリのインストール方法やDLなど。GCPとの連携もJupyterでもできるのでいいかなって思ってます)。PySparkDataprocの備忘録です。DataprocでGCSに配置したcsvファイルをDataFrameで読み込み分散並列処理する記事です。DataprocはGCP上でSparkやHadoopを実行できる環境を提供します。環境構築に関する記事を書いてみました。Dataproc]クラスタ上でDatalabを構築するメリットを実際のユースケースも考慮して書いてみます。クラスタ上でジョブを実行し、GCS内のデータを加工したいと思います。Dataprocで環境構築をしてみました。Dataproc入門者を対象に記事を書きたいと思います。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。