(DBFS)という分散ファイルシステムがインストールされています。Storageに永続化されるため、Clusterが終了してもデータが保持されるようになっています。API、open関数等のFileIOを使用しますが、OSとDBFSでルートディレクトリの扱いが異なるため、ファイルにアクセスする上で注意が必要になります。Utilities(dbutils)dbutilsでは、DBFSのルートディレクトリを基準にパスを参照します。dbutilsで「/mnt/my_blob_container」を指定した場合は「dbfs:/mnt/my_blob_container」を参照することになります。dbutilsでClusterのローカルストレージを参照する場合は「file:/home/ubuntu」のように、OSのローカルパスに「file:」を追加したものを使用します。APIでファイルを読み込む場合、DBFSのルートディレクトリを基準にパスを参照します。dbutilsとは異なり「file:/home/ubuntu」のような形でClusterのローカルストレージを参照することはできません。そのため、Sparkでファイルの読み込みを行う場合はファイルをDBFS上に配置する必要があります。(上記2つ以外のファイル操作)Pythonのopen関数等のFileIOで読み込みを行う場合、OSのルートディレクトリを基準にパスを参照します。DBFSルートディレクトリはOS「/dbfs」にマウントされているため、DBFSの「/mnt/my_blob_container」にアクセスする場合は、「/dbfs/mnt/my_blob_container」のように「/dbfs」を追加したパスを使用します。マジックコマンドDatabricksでは、セルにマジックコマンドを指定することで、各種スクリプトの実行ができます。マジックコマンドは1セルにつき1つだけ指定できます。%mdセルにMarkdownを記載してコメントとして挿入します。%fsDatabricksの分散ファイルシステムであるDBFSのリスト、コピーといったファイル操作をシェルコマンドライクに記述して実行します。ディレクトリにあるファイルのリストを表示する場合は、下記コマンドを使用します。/mnt/blob_container/上記コマンドはPythonの下記スクリプト実行結果と同等となります。%shOSのシェルコマンドを実行する場合には「%sh」を使用します。DBFSを%shで参照する場合は下記のとおりです。%rNotebookで指定した言語以外の言語を使用する場合は、対応言語のマジックコマンドを使用します。100y言語間で変数は共有されないため、マジックコマンドの変数に値を引き渡す場合は一旦DBFSにファイル出力をする等で渡す必要があります。%run他のNotebookを実行する場合は「%run」で対象Notebookを指定して実行します。%runで実行すると、同じ言語であれば他のNotebookで定義された変数をそのままの変数名で参照することができます。メンテナンス性を高めるために、スキーマ定義を別Notebookで記述しておくといったような使い方ができます。Preferences。