00:39:21本エントリでは、pysparkからGraphFramesを利用する手順を示します。IDEAで開発環境を設定する手順を示します。Sparkをダウンロードします。spark.apache.orghttps://spark.apache.org/downloads.htmlこのエントリの手順では「spark-2.4.3-bin-hadoop2.7.tgz」をダウンロードしました。このファイルを適当な場所に展開します。spark-2.4.3-bin-hadoop2.7.tgz以下のようにspark-shellを実行してversionが表示されることを確認します。次に、pysparkが利用するPythonを設定します。numpyがインストールされたPython環境を利用する必要があるので、ここではAnacondaのPython環境を指定します。templateから、spark-env.shを準備します。以下のように利用するPythonのパスを記載します。上記はanyenvでAnacondaをインストールしている場合の例です。起動とサンプルの実行GraphFramesをパッケージに指定して、pysparkのREPLを起動します。graphframes:graphframes:0.7.0-spark2.4-s_2.11最新のパッケージは、spark-packages.orgで確認して下さい。SparkPackageshttps://spark-packages.org/package/graphframes/graphframesQuickStartにあるサンプルを実行してみます。Guidehttps://graphframes.github.io/graphframes/docs/_site/quick-start.html以下のように結果が確認出来ます。以下エントリの手順でpyspark用の開発環境が設定出来ていることを前提として説明します。IDEAでpyspark用の開発環境を設定する手順https://takemikami.com/2018/11/27/IntelliJ-IDEApyspark.htmlspark環境へのGraphFramesパッケージ追加templateから、spark-defaults.confを準備します。以下のように利用するGraphFramesパッケージを記載します。graphframes:graphframes:0.7.0-spark2.4-s_2.11最新のパッケージは、spark-packages.orgで確認して下さい。SparkPackageshttps://spark-packages.org/package/graphframes/graphframesPython環境にgraphframesのインストールPythonの環境にGraphFramesをインストールします。IDEAからGraphFramesを利用する環境が整いました。以下のようなコードを作成します。処理を実行すると、以下のような結果が出力されます。