旧fukushimu'sページ。&旧理系大学院生の怠惰な日々。fukushimuのメモ帳です。ないブログに表示されています。新しい記事を書く事で広告が消えます。謎の文字化け»Text::MeCabが謎の文字化けして、まぁ一応直ったのでメモ。原因はわからずじまい。単語と単語の切れ目がゴミと化しています。前はフツーに動いていたのにぃ!だからスクリプトの文字コード周りではないのかも。これはターミナル上でのMySQLで、日本語を入力→削除で出てくるゴミに似ている気がする。cpanでText::MeCabをアップグレードするも直らず。調べると、mecab本体が2個所にある・・。一方が正常で一方が文字化ける。Text::MeCabインストール時に指定するパスは化けるほう。彼は変態ですうひょーー!見事なおりました!!しかし化ける方はなんなんだ、いつからおるんか、いつ正常なやつと入れ替わったのかはわからず。Vine5.2でデュアルディスプレイ»ずっと避けてたデュアルディスプレイにしてみました。NVIDIA純正ドライバ、インストール手順こちらのサイトを参考にしました。やってみると意外と簡単。GUIで「nvidia-settings」で2画面目の設定です。詳しくは上のサイトを見ましょう。Readerが開けるようにします。OSはVine5.1。Readerをインストール。こちら(http://get.adobe.com/jp/reader/otherversions/)からrpmをダウンロードして入れました。[100%]これでインストール終了。Readerで開けるようになりました。つぎにプラグインをインストール。いっても、ダウンロードしたファイル内の"nppdf.so"というファイルをプラグインディレクトリにコピーするだけです。こちらを参考にしました。"nppdf.so"はrpmを解凍すると、"Reader9/Browser/intellinux/"にありました。僕の場合mozillaのプラグインディレクトリは"/usr/lib/mozilla/plugins/"です。プラグインディレクトリになぜか既に"npdf.so"があったので(汗)一応古いファイルをコピーして保存したあとに新しいファイルをコピーしました。Adobe]#これで無事firefox上でpdfファイルが開けました。あ、でも1回目開いた時firefoxが強制終了しました(汗)以上です。[追記]試しにnppdf.soを削除してみたら、普通にfirefox上でpdfを開けました・・。nppdf.soがないとだめでした。[Text::MeCab]»perlでText::MeCabを使っていて、「なんか変だなー。みょ〜〜に、変だな〜・・」と稲川淳二ばりに思っていたら、作成したはずのmecabのユーザ辞書がText::MeCabに適応されていませんでした。人生オワタ、と嘆いていると、ザッツさんがCPANを見ればといってくれたので、見てみると、あーなるほど普通に書いてある。いうことで、Text::MeCabに自分で作成したユーザ辞書を適応させる方法です(CPAN見れば書くまでもありませんが...)。CPANなりなんなりを読めと言うことですね。[wikipedia][はてなキーワード]»mecabにwikipediaのタイトルの単語を追加します。ググると、既に様々な人がされているので、参考にさせて頂きました。本家のサイトで詳しく説明されています。csvファイルの作成にperlを使いました。以下が作業の流れです。名詞,固有名詞,*,*,*,*,千と千尋の神隠し,*,*,wikipedia_word,EOSこうなってくれます。wikipediaに登録されている項目をmecabが判別してくれるのですね。wikipediaのタイトルリスト(jawiki-latest-all-titles-in-ns0.gz)をこちら(http://download.wikimedia.org/jawiki/latest/)からダウンロード。適当なディレクトリ(home/foo/bar)に解凍します。次に、ダウンロードしたファイルから辞書へ変換するためのCSVファイルを作成します。ファイルの中身を見るとこのようになっていました。千と千尋の神隠し千と千尋の神隠し_サウンドトラック千なり千のナイフこれをこのようなCSV形式に整形し、ファイルに保存します工藤,1223,1223,6058,名詞,固有名詞,人名,名,*,*,くどう,クドウ,クドウ詳しくは公式サイトにのっていますのでそちらを。追加できるとのことなので、先人に習って、最後にwikipedia_wordを追加します。CSVへの変換はこちらのサイトのperlスクリプトを参考にさせて頂きました(少し改変しました。int($max);}「#いらない語をとばす」のところで自分がいらないなと思った単語をとばしましょう。僕は.(ドット)から始まる後や(曖昧さの回避)の単語、数字のみの単語などを省きました。CSVファイルに書き込む際に3文字以下の単語は省きました。utf8をしないと日本語などのユニコード文字の長さがちゃんとはかれないようです。)これでCSVファイルができあがリました。3)CSVファイルを辞書ファイル(.dic)へ変換します。CSVファイルのあるディレクトリで、以下のコマンドを入力。|###########################################|done!できました。最後に/usr/local/etc/mecabrcに以下を追加。この調子ではてなキーワードもいれてみようと思います。追記--はてなキーワードリストをこちら(http://d.hatena.ne.jp/hatenadiary/20060922/1158908401)からダウンロードして、辞書に登録しました。はてなキーワードにはふりがながあるものもあるので、スクリプトを少し改良しました。千と千尋の神隠し,0,0,-3600,名詞,固有名詞,key_word,key_word,*,*,せんとちひろのかみかくし,*,*,hatena_word,しかし、何と言うか、はてなキーワードはwikipediaと比べてなんだか世俗的、というかフォークソノミーちっく(死語!?)ですね。それぞれの単語追加の際のポリシーみたいなものがあるのでしょうかね。自己紹介:熊本の某大学で情報処理の勉強をしてます。TMP忍者ブログ[PR]。