blogメモと日記ですこの広告は、90日以上更新していないブログに表示しています。sparkメモです!stackoverflowまとめただけです!以下バージョンです。こんな感じでデータセットを保存すると。mode='overwrite')ディレクトリ名までしか指定できない。part-00000-0f5a725e-c34d-4c59-9627-debe270aa558-c000.jsonそもそもデータでかいんだから一つにまとめんなって話でディレクトリ単位がデータの区分になっていることを想定しているからっぽい。それでもファイル名を指定したい!っていう時の対処法です。APIを使ってリネーム&デリートしてあげる。True)JavaPySparkと同じ。e.printStackTrace();}ScalaPySparkとJavaと同じ。Scala知らないのでこれ見てください。sparkでStackOverflowErrorとOutOfMemoryErrorが発...以下バージョンです。dockerコンテナ内で起動しています。notebookでpyspark環境はMacOSです。(5)はてなブログをはじめよう!hatuninaさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。