2020年になってから問題が発生しているようです。ライブラリの依存関係が一部壊れている模様。GitHubにもissueとして報告されていて、近いうちに修正されるとは書いてありますが、待っていられない人に。Python3,【Python】PandasのDataFrameで特定の行を爆速で更新する方法すみません、タイトルはちょっと誇張表現含んでます。数十分かかる処理が1秒以下で終わるようになるという事はざらにあります。pandasは便利ではあるのですが、何も考えずに書くとPythonという言語の特性やpandasのデメリットばかりを享受するようなコードになりがちです。それなりに重いデータをいじろうとすると、メモリの使用量が気になる事が多々あります。秒単位で計測することはLinuxコマンドで比較的簡単に出来ますが、具体的にどの処理の後にメモリの使用量が増えているかを知りたく、Pythonの関数化してみました。データの形式が何かおかしい模様。Colaboratoryで最新のFastTextをインストールする(2019年9月時点)全コードは以下に掲載しています。環境が違うせいで、公式のgithubに乗っている方法だとうまくいきませんでした。自戒も込めて書き記していきます。世の中にいいコードがたくさん生まれますように。setは被りなく順序なく、要素を格納してくれる機能です。BitFlyerのAPIでは、日時を指定して約定履歴を取得することができない仕様になっています。なんでやねんと言いたくなる気持ちは抑えつつ、手動で地道に探すのは大変すぎるので2分探索で指定日時のIDを取得するスクリプトを簡易的ですが書きました。間違ってor仕方なく巨大なデータが存在する場合ってありますよね。渡しの場合は巨大な過去のデータ(数十GB)をWebAPI経由で取得していたのですが、本来は日付単位でファイルを分割しようとしていたのに、スクリプトを間違えて全部同じファイルに出力してしまっていました。frameworkを使っている中で、GETリクエストの場合はjsonを返却し、postリクエストの場合はcsvを返却するという処理を実装したかった。内部で使用されている、get_renderersをオーバーライドしてあげればokです。Djangoを使って開発を行っていましたが、最初は中間テーブルのプライマリキーをデフォルトのIDで使っていたものの、セキュリティ上の懸念に後から気がつき、変更ID→UUIDに変更したくなってしまった。開発環境ではDB作り直せばよいのですが、せっかくなので消さずに修正を行ってみました。ファイル分割とリアルタイムプレビューで快適にAPIドキュメントを作成したかった。「新しいLinuxの教科書」を読んだらLinuxの気持ちが分かるようになった。