一億文書検索パッケージとして販売されているファイルサーバ検索システムの多くは、「1千万文書の大規模検索が可能」など、その高性能をアピールしていますが、実際には何千万文書ぐらいまでの全文検索に利用できるのでしょうか。多くの製品が、ノンカスタマイズでパッケージとして対応できる文書数は、1千万文書の大台あたりであるように思われます。Cloud-を利用して、一桁上の「1億文書」の全文検索インデックスを構築してみることにしました。〜1億文書のインデックスの構築に成功しましたインデックス構築の所要時間は約1ヶ月でした全文検索の実行に成功しました100万文書のWikipediaデータの複製100個で1億文書が構成されています100万文書のWikipediaデータフォルダ1つを対象とする検索の場合、初回は20秒ほどかかりますが、2回目以降は2秒未満で高速に可能です。初回の検索時にインデックスデータがハードディスクからメモリにキャッシュされることで次回以降の検索が高速化されていると考えられます。全1億文書対象の検索時には数分程度かかります。これを高速化するには、ヒープメモリをさらに拡張する必要があるでしょう。〜1億文書のWindowsファイルサーバを用意して、これを対象に全文検索インデックスを構築します。実際に1億文書を収集することは容易でありません。)のファイルサーバを構築しました。(実際には容量節約のため、コピーのかわりにシンボリックリンクを用いました。〜実証環境は、下記構成のホスト上に仮想マシンを作成しました。〜実証環境では1億文書のインデックスの差分構築の実行には3日~4日かかりました。日常運用継続のためには、差分インデックス更新を週末48時間以内程度に高速化する必要がありますが、適切なスケジューリングやハードウェア選定によって十分実現可能な範囲でしょう。Solrは「使える」。