↑の辺りの記事を読んでxargsによる並列化を試してみたメモ。結果を先に書いておくと、残念ながら並列化してもあまり速くならなかった。したらコマンドの使い方が怪しいかも......?とりあえず目的はMeCabを並列に実行すること。300弱のファイルで試した。並列数Pと渡す引数の数nは適当に決めた。1.ファイルごとに並列カレントディレクトリ以下の.txtファイル名を全部取ってきて10並列でMeCabに投げて出力をtxtファイル名+.mecabファイルにリダイレクトする。シェル(sh)経由でMeCabを起動しているのは、.mecabファイルに標準出力をリダイレクトさせるようにするため。"{}.mecab"'2.シェルの起動回数を減らす遅い原因がテキストファイルごとにshを起動しているせいかと思ったので、ファイル名をまとめて渡してシェル内でforループで回すようにした。done'3.分割した後にforループを使わずcatでまとめてからMeCabにかけて、MeCabを呼ぶ回数を減らす。MeCabを呼ぶ回数も減らしてみた。"$0.mecab"'結果10並列で動かしていたが、2から4倍程度の処理速度だった。サーバー側の問題なのか、実行するたびに処理時間にかなりばらつきがあった。上に書いた3種類のやり方で試してみたが、残念ながらあまりどれが速いかというのは明らかではなかった。以下のようにMeCabを実行したら結果が一瞬で返ってきて?となったのですが、MeCabって引数の最初のファイル1つだけしか処理しないんですね......。使い方(主に日本語のテキストの読み込み)gensimは前に以下の記事でも使ったPython用のトピックモデルな...2013-09-21MeCabでN-Best解を出力した時のコストの表示がおかしい?「MeCabでN-best解を出力した時に累積コストを見ると順番に並ん...2013-05-22IPythonを使い始めました今更ながらIPythonを使い始めました。Adsenseを使っています。(1)月別アーカイブはてなブログをはじめよう!sucroseさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。