使っていて感じたことのメモ書きpythonメモをそのまま記載。整理したまとめは後日。2013/5/24バイト先で今はpythonのコードを書いている(いた)解凍後4Gのjsonファイルは、30コア使えば数分でできた解凍前4Gのjson.txt.gzはそうもいかない挙動がぜんぜん違うこれあれや、前のC++でやったやつと同じやつやビッグデータ怖い同じように30コアで動かしたら全然進まないのそもそも30コア回る以前の処理で遅い(行数数えるだけだよ?25320005行とか言ってんの。installこちらで挙動を見ればある程度わかるだろう、と思いきや動かないもしやmultiprocessingとmemory_profilerは相性が悪い?仕方なしにちょいちょいdel文を入れてみたりして調べる消費メモリが爆発的に増加する箇所はまだ連想配列を使っていないから理由がよくわからないサーバ上で動きを見ながら検索していたら「GC優秀だからdel文意味ない」と知り削除topで各プロセスを監視していた意外なことにメモリをバカ食いしてるのは子プロセスではなく親プロセスだと判明つまり子から回収したデータが飽和してるわけか文字列のリストをそのまんま受け取ってるもんな...そりゃそうかというわけでPoolなんて生っちょろい手段を捨て、本格的にmultiprocessingを学ぶことに最悪共用メモリさえできればなんとかなりそうだで、pool,mapの箇所をprocess,start,joinに書き換えたら今度は動かないいや、実行はしてる。プログラムは動いてる。遅いのか停止してるのかもわからない状況。読者になる検索リンクはてなブログブログをはじめる週刊はてなブログはてなブログPro最新記事ドラえもん映画作品を観ている最近の興味、自作キーボードとかISUCON7予選敗退してきました身辺整理的なものBugリストから脱出しました月別アーカイブはてなブログをはじめよう!ragi256さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。