Nightで登壇しました。javaのヒープメモリが足りない。いうトラブルの場合大抵はメモリの設定が悪い。collectなど、最終的にmapしたRDDを収集するときの最大サイズにも注意が必要。そのような最大サイズはconfにspark.driver.maxResultSizeを設定する。garicchi機械学習ツールWekaを使っていると、しばしば.arffのファイルフォーマットとpandasのDataFrameを行き来したくなります。そこで普段はarff2pandasというパッケージを作って使っていたのですがせっかくなのでPyPIに公開してpipでインストールできるようにしました。jsonファイル入出力のスタイルに近づけているつもりです。ソースコードはGitHubで公開しています。