u++の備忘録u++の備忘録スマートフォン用の表示で見るu++の備忘録2019-01-20pd.read_csv()が高速化するmodin.pandaspythonはじめにGitHubリポジトリ試してみたインストールライブラリの読み込み実験pandasmodin.pandas未対応機能もおわりにはじめにTwitterで見かけて、全く知らなかったので試してみました。ray)前よりはちゃんと動くようになった気がするけど、謎エラーで死ぬこともあるのでなかなか移行はできない。2019GitHubリポジトリgithub.com試してみたインストールGitHubに書いてある通り、pipで入れます。modin自分の環境では「setproctitleがない」と警告が出たので、入れました。pd」としている部分で、次のように宣言するだけです。pd後は、いつものように「pd.read_csv()」などを使うことが可能です。比較的サイズの大きい模擬データを用意しました。420万行×256列の乱数データです。256)csv形式で保存し、以後はこのファイルの読み込み速度を調べていきます。pandasここでは、違いを明示するため、意図的に通常のpandasを「pandas」として宣言します。40smodin.pandas次いで、modin.pandasです。2倍程度、読み込みが速くなっています。15s未対応機能もまだまだ並列化が未対応な機能もあるようで、例えば圧縮されたファイルを読み込んだ場合は警告が出ました。implementation."おわりに本記事では、pd.read_csv()が高速化するmodin.pandasを試しました。実装はGitHubで公開しました。月別アーカイブはてなブログをはじめよう!upuraさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。