第5回Solr勉強会の資料をアップロードした。Wednesdayプレゼン資料「オープンソース検索エンジンの今」@SCS本日SCS様で行われたカンファレンスの私のプレゼン資料をSlideshareにアップロードしました。Imaginationのダウンロードサイト先日のTwitter検索がLuceneを使ったという発表の内容も、結構詳しく書かれている。2010私もBBQに誘っていただいたが、残念ながら東京を離れるわけにいかず不参加となった。KojiSekiguchi.参加できなかった方へ、最後のページの「問題です」というのは何かというと、「この問題がわかればSolrトレーニングの基礎コースをとばして応用コースを受講しても大丈夫」という意味である。分科会セミナー資料の公開4月22日に開催された「次世代サーチ・テクノロジー・フォーラム2010」では弊社も「Solrにおける日本語処理の現状」というタイトルでセミナーを担当したが、その資料を公開した:http://www.rondhuit.com/download.html私の方はなかなか仕事で慌ただしくセミナー後に客先に行ったりしてゆっくりできなかったが、雨天にもかかわらず大勢の方が参加していたようだ。Technology社のCEOカール・ホフマン氏にパーティーに招かれた折りにYonikさんや奥さんのマーガレットさんにお会いした。Yonikさんからは「RONDHUITはなんと発音するんだ?」「名前の由来は?」などを聞かれ答えたり、私からは「なぜCNETはSolrをOSSにしたのか?」「CNETの前は何をしていたのか?(Yonikさんは元CNET社員と判明)」「カリフォルニアに住んでいたのか(YonikさんはCNETの前はBEA社員と判明)」などを尋ねたり、他のCommitterの話をしたりしてあっという間に時間が過ぎたのだった。Griesさんでした。Hatcherだと思いますよね。Technologyのプライベートカンファレンス「次世代サーチ・テクノロジー・フォーラム2010」が4月22日(木)に開催される。BASIS社員によると今回は「LuceneとSolrの技術とビジネスを全面に展開したフォーラムとなる!」とのことで、Lucene/SolrのコミッターであるErikさんとYonikさんも招聘するとのこと。このうちYonikさんは22日の分科会(参加費無料)で「開発者が語るSolr」とその前日のプレイベント「開発者直伝:Solr1.4トレーニング」(有料)で講演を行う。REXの紹介」「Lucene入門」などのセミナーが開催される。Rails開発者向けに全文検索エンジンSolrの入門セミナー(無料)を開催する。最初に日本語全文検索について簡単におさらいします。Solrをインストールし、起動方法を学びます。Solrに登録します。Solrの管理画面を使って検索します。Railsアプリケーションからの検索フリーワード検索を実行するRailsアプリケーションを作成します。ファセットカウントの取得から絞り込み検索を実行するシナリオを実装する方法を学びます。Railsアプリケーション開発者のためのSolr入門」という無料セミナーを開催し、無事終了した。会場となる小会議室はインターネット接続がないため、受講者が持ち込むノートPCには「Ruby+Rails+JDK5(以上)」をあらかじめインストールしておいてもらわないといけないのだが、皆さん準備万端で参加してもらい、(USBメモリで)配布した教材も全員のノートPCで問題なく動作し、第1回目にしては上出来であった。受講者の半数以上はMacを持ち込んでの参加であったのも印象深かった。こちらの記事で紹介したとき以来、普段から不満たらたらでVistaノートを使っている私は「次に買うときは私もMacに決めているんですよ」と負け惜しみを言うのが精一杯であった。受講者アンケートもとらせてもらったが、ほぼ100%の満足度が得られたようで、よかった。受講者の方でさっそく記事にしてくれた方もいる。気分がいいので来月も開催しようと考えている(会議室と私のスケジュールの空き具合で、日程は現在調整中)。アンケートには「Solr以外の検索エンジンを使用・検討したことがある方」向けに「その検索エンジン」と比較して「Solrが優れている点・Solrが劣っている点」を聞いてみた。受講者の一人が「Solrは(使ったことのある)Luceneと比べてスケーラビリティが劣っている」と回答していた。この点についてコメントしておきたい。スケールアップに関しては、LuceneでもSolrでもなんら変わるところはないと考えられる。スケールアウトについても同様だ。すると、この方の指摘する「スケーラビリティ」とは(中身の異なる)インデックスを横断検索するLuceneでいうところのMultiSearcher機能がSolrにはない、といっているのかもしれない。無料セミナーで使用したSolrの安定版であるリリース1.2ではこれは正しい。Search機能を使わないときの理論値は最大約21億件(=Integer.MAX_VALUE))。Search機能ではLuceneのdocidのIntegerをLongに変換することから、理論上900京件超の文書数が扱えるようになる。Solrのこの横断検索機能はGoogleの分散検索処理と同じしくみ(シーケンス)で動作しているため、十分スケールすることは(Googleによって)すでに証明済み、といってもよいだろう。「Googleの分散検索処理」については技術評論社発行のGoogleを支える技術」の第2章に記載されている。Searchはこれと同様である。1億件くらいまでなら従来のままの構成でもなんとか動かそうと思えば動くものである。比較のポイント商用検索エンジンを購入した企業担当者は読まないでください。McCandlessFastVectorHighlighterについて解説記事を寄稿しました。