perfect自分が学んだことや、作成したプログラムの記事を書きます。2014-07-06bzip2とgzipのParallel版、pbzip2とpigzプログラミングbzip2とgzipのParallel版、pbzip2とpigz巨大なテキストファイルを圧縮する必要に迫られたのですが、標準のbzip2やgzipは並列処理に対応しておらず、今どきのマシンだともったいないです。そこで調べてみると、それぞれのParallel版が見つかりました。pbzip2とpigzです。14.04では公式のリポジトリに含まれているようです。インストールして、簡単に圧縮解凍のベンチマークを取ってみました。使うデータは約15GBのcsvファイルです。ほとんどの要素が0のいわゆるsparseなデータなので、圧縮後のデータサイズは物凄く小さくなることが予想されます。前準備2つともUbuntuならコマンド一発で入ります。今回使用するのは8コア16GBのマシンです。最初にpbzip2の圧縮時の結果です。secondspbzip2の解凍時の結果です。seconds次に、pigzの圧縮時の結果です。-vオプションでは実行時間などが出力されなかったため、timeコマンド使用。total解凍の結果です。圧縮時間は圧倒的な差が有りましたが、解凍時間は何故か変わらないという結果に。topで見張っていてもpigzで解凍しているときはコアを1つしか使っていなかった...。圧縮後のサイズは当然pbzip2のほうが小さくなりました。元がsparseなので、pigzのほうでも実用上は大したことがなさそう。圧縮の時間が短いため、自分の用途ではpigzのほうを使うことにします。WSLからWindowsのアプリケーションを呼び出したいとき月別アーカイブはてなブログをはじめよう!thekorukuさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。