地味に初学者や初めて触れた人にとってハードルが高そうな部分である。分析・学習用のデータを読み込む方法のまとめとなります。Python3,【Python】Anacondaで動かかなくなったときの対処方法Anaconda便利ですよね。機械学習系の作業をする際など、ライブラリ等の依存関係が何かと面倒なことはままありますが、Anacondaを利用すればそのような依存関係を一気に解決してくれる場合があります。いうか大体の場合にうまく言ってくれます。便利なAnacondaですが、あるライブラリを入れたら全く動かなくなったみたいなことはよくあるのです...。Python3,【Python】PandasのDataFrameで特定の行を爆速で更新する方法すみません、タイトルはちょっと誇張表現含んでます。数十分かかる処理が1秒以下で終わるようになるという事はざらにあります。pandasは便利ではあるのですが、何も考えずに書くとPythonという言語の特性やpandasのデメリットばかりを享受するようなコードになりがちです。それなりに重いデータをいじろうとすると、メモリの使用量が気になる事が多々あります。秒単位で計測することはLinuxコマンドで比較的簡単に出来ますが、具体的にどの処理の後にメモリの使用量が増えているかを知りたく、Pythonの関数化してみました。ダミー変数化されたデータを1列に戻したかった。数十行にも及ぶ被りのないフラグデータをそのまま持っているとかままあると思うのですが、見づらいし扱いづらいという状態でした。ダミー変数化されたデータとされていないデータが混在している中で、処理を分岐させたくなかったのでデータを変形させることにした。データの形式が何かおかしい模様。自戒も込めて書き記していきます。世の中にいいコードがたくさん生まれますように。setは被りなく順序なく、要素を格納してくれる機能です。Pythonのみで記載している場合は、例外:ZeroDivisionErrorが発生します。NumPyを使用した際には、下記のように値が返されます。間違ってor仕方なく巨大なデータが存在する場合ってありますよね。渡しの場合は巨大な過去のデータ(数十GB)をWebAPI経由で取得していたのですが、本来は日付単位でファイルを分割しようとしていたのに、スクリプトを間違えて全部同じファイルに出力してしまっていました。frameworkを使っている中で、GETリクエストの場合はjsonを返却し、postリクエストの場合はcsvを返却するという処理を実装したかった。内部で使用されている、get_renderersをオーバーライドしてあげればokです。ファイル分割とリアルタイムプレビューで快適にAPIドキュメントを作成したかった。「新しいLinuxの教科書」を読んだらLinuxの気持ちが分かるようになった。