13:36:44このエントリでは、Databricksで動かすコードを、PyCharmなどのIDEで書きたい場合のノウハウについて示す。以下の2つの観点で、対応する方法を考える。WorkspaceとローカルPC上のソースコードの同期方法http://takemikami.com/2019/02/01/Databricks-WorkspacePC.htmlなるべくローカルでも動くように設定するDatabricks用のコードがなるべくローカル環境でも動くように、以下をインストール・設定する。UtilitiesというDatabricks用のパッケージをインストールする。docs.databricks.comhttps://docs.databricks.com/user-guide/dev-tools/dbutils.htmlインストール方法は以下の通り。DBUtilsこれをインストールし、以下のようにインポートしておくと、PyCharmなどで「dbutils.fs.〜」のようなコードに対する警告を抑制出来る。Sparkのインストールpysparkをローカル環境で実行出来るようにする方法は、以下エントリの通り。ApacheSparkをダウンロード&展開し、環境変数「SPARK_HOME」を設定しておけば良い。IDEAでpyspark用の開発環境を設定する手順http://takemikami.com/2018/11/27/IntelliJ-IDEApyspark.htmlインストールと環境変数を設定した上で、以下のようにインポート・初期化すると、ローカル環境でDatabricks環境と同じように、pysparkを利用できるようになる。SparkSession.builder.appName('local').getOrCreate()環境に依存するコードを切り替える先に記載したDBUtils、SparkSessionのインポートなどローカル環境のみで利用し、Databricks環境にimportする時には取り除きたいコードが存在する。「LOCALONLY」とコメントした行を取り除いてimportするシェルスクリプトを作る。ついでに、「DBONLY」とコメントした行はコメントインする処理も記載する。「databricks-cli」のインストール&初期化は以下のエントリの通り実施しておく。WorkspaceとローカルPC上のソースコードの同期方法http://takemikami.com/2019/02/01/Databricks-WorkspacePC.html以下のシェルスクリプトを作成する。対象パスを指定しておく。上記のシェルスクリプトを実行すると、ローカル用コード除去とコメントインを行った上でDatabricksにインポートされる。print("sample")具体的に上記のコードに対して、ローカル用のコード除去とコメントインされたものは、以下のコードになる。print("sample")以上。