Sparkはインメモリで処理を行いますが、ReduceByKeyなどでシャッフルされるような場合はディスクに永続化されます。Sparkとデータの永続化)明示的にディスクにpersistすることもできますが(StorageLevel.DISK_ONLYを設定するなどして)、実際にどのようにローカルディスクに書き出されるかを確認してみました。1)[/java]このコードをベースにして、いくつかの条件でテストします。アクション実行時ワードカウントを実行します。シャッフル時にディスクに永続化されています。1)counts.persist(StorageLevel.DISK_ONLY)[/java]変換操作はLazy(すぐに処理されない)ので、まだディスクに永続化されていません。/tmp/spark-local-20141215235810-7b74//tmp/spark-local-20141216000205-36c7[/shell]続いてアクション(collect())を実行します。永続化されていますね。続いてunpersist()を行います。※何回かテストをしているので、途中のデータが違っていることにご注意ください。/tmp/spark-local-20141216002036-d30a/tmp/spark-local-20141216002036-d30a/tmp/spark-local-20141216002036-d30a/0e/tmp/spark-local-20141216002036-d30a/0b/tmp/spark-local-20141216002036-d30a/1a/tmp/spark-local-20141216002036-d30a/1a/rdd_6_0/tmp/spark-local-20141216002036-d30a/0c/tmp/spark-local-20141216002036-d30a/0c/shuffle_0_0_0/tmp/spark-local-20141216002036-d30a/11/tmp/spark-local-20141216002036-d30a/13/tmp/spark-local-20141216002036-d30a/0d/tmp/spark-local-20141216002036-d30a/0d/shuffle_0_1_0[/shell][python]counts.unpersist()[/python]すぐに消去されました。~]#[/shell]アプリケーション(pyspark)を終了しても削除されます。~]#[/shell]チェックポイントやttlは別の機会があればそのときに。日本語版ドキュメント。何かと参考になると思うのでメモ。誰が翻訳しているのかわかりませんが、このようなドキュメントはありがたいですね。Spark2.x版です。5」という記事が公開されました。SparkでWordCountを実行するというものです。wordcountの最終回です。CrunchでMapReduceと...Spark「初めてのSpark」が発売されます!2015/8/22発売予定です。翻訳は象本、馬本、などHadoopやビッグデータ関係の翻訳でおなじみの玉川さん。コメントをキャンセルメールアドレスが公開されることはありません。*サイトProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。