1.1.0のリリースをお知らせしたばかりだが、現trunkはさらに改良されてそれよりも9%、以前に比べると35%の高速化を達成した。達成したといっても達成したのはRobertさんで、私は隣で"Great!"とかいって盛り上げているだけである。ところで、25%〜35%高速化したということは、それだけ早く形態素解析処理が終わる(処理時間が短くなる)のであるから、それだけコンピューターを早く解放できるので節電できているといえるのではないか。24時間形態素解析器を使っているわけではないので、節電量は数パーセントにも満たないかもしれないが、多くのSenのユーザーが新しいバージョンのlucene-gosenに乗り換えれば、全体で結構節電したことになったりしないだろうか。・・・などと、全社で節電に取り組む某インテグレーター様にてしばし空想。今回のリリースでは、JapaneseTokenizerが出力する各種Attributeを必要になるまでメモリにロードしないという改善を行い、さらなる高速化を実現した。手元の簡単な計測では、25%の処理速度向上が認められた。計測に使用したプログラムを以下に示す。使い、これを1万回ループする中で形態素解析を行った。1.1.0で80,290msとなった。}なおこの改善により、PartOfSpeechAttributeのコピーを保持するTypeAttributeがJapaneseTokenizerから出力されないようになった。これまでJapaneseTokenizerが出力するTypeAttributeでなにか処理をするTokenFilterを持っている人は、代わりにPertOfSpeechAttributeを参照するように変更する必要がある。1.0.1をリリースした。以下から使用する辞書に合わせてダウンロードできる:http://code.google.com/p/lucene-gosen/downloads/listこのリリースはユーザから寄せられた次のバグフィックスを含んでいる:WordDelimiterFilter使用時,JapaneseBasicFormFilterがNullPointerExceptionとなるハイライトが正しくできないいずれも重要な修正なので、1.0.0を使用している方は即時1.0.1に切り替えていただきたい。3.1のanalysys.jspでのJapaneseTokenizerの出力結果が表示されている。見ると、トークンのコストが表示されているのがわかるだろう(一番下の属性)。これはカスタム辞書を作成するとき、単語のコストをいくつにすればいいかのデバッグ用に便利かも知れないということでつけた機能である。ThursdaySenの入手方法Solr本ではsen-1.2.2.1.zipを入手して適用する方法を書いているが、今はどうやらZIPファイルの入手が困難になっているようなので、ソースからのビルド方法を記しておこう。3.1であれば先日も紹介したlucene-gosenを使うことをお奨めする。lucene-gosenは活発に活動しているので、安心して使えると思う。SenのビルドにはJavaとAntがインストールされていることを前提とする。辞書のビルドにはSolr本にもあるとおりPerlが必要となる。3.1で使う手順を説明しよう。start.jarそして、text_jaで解析すると、次のようになる。比較のポイント商用検索エンジンを購入した企業担当者は読まないでください。McCandlessFastVectorHighlighterについて解説記事を寄稿しました。