Nutchについて、一般的な情報、周辺情報をまとめました。FoundationがJavaで開発している検索エンジンのためのライブラリがあり、そこからNutchというクローラーや、Luceneを使った検索エンジンであるSolrが派生しました。Nutchの特徴は、Hadoopという分散コンピューテイングのためのフレームワークを利用して、大規模なクロールデータを複数コンピュータ上に分散保持することができることです。これは、Googleの提唱したMapReduceという分散処理システムを採用しています。バージョン2.xでは、Goraによるインメモリデータモデルを用いて、NoSQL/SQLデータベースを抽象化して利用することができます。NutchもSolrも拡張性に優れ、色々とカスタマイズをすることが可能です。NoSQLの参考サイトを紹介します。Foundationが開発するオープンソースのクローラー。Nutchは、拡張性と拡大性に優れたオープンソースWebクローラーのソフトウェアプロジェクトです。Luceneから派生し、プロジェクトは分化し現在二つのコードベースに分けられています。良く成熟し、製品化準備の整ったクローラーです。Hadoopのデータ構造を用います。1.xから直接的なアイデアを得て現れた代替ソフトで、一つの重要な領域で1.xと異なります。Goraを用いることでストレージが特定の下層のデータ保持システムから抽象化され、永続的なマッピングでオブジェクトを処理することができることです。これは、とても柔軟なモデル/スタックで、全てのもの(読み取り時間、ステータス、コンテンツ、パースしたテキスト、外部リンク、内部リンクなど)を多くのNoSQLストレージ製品で記録保持することができることを意味します。Tikaによるパースのカスタム実装を行うことができます。Searchなどによりインデックス機能を追加することができます。Nutchは、一つのマシーンで実行することもできますが、Hadoopクラスター(Hadoopで構成された同一コンピュータ群)で稼動させることで多くのその強みを獲得することができます。Foundationが開発するオープンソースの検索エンジン。Javaで開発されている。Luceneはハイパフォーマンスな、Javaのみで書かれた全文検索エンジンライブラリです。全文検索が必要なほぼ全てのアプリケーションに相応しいライブラリで、とりわけクラスプラットフォームなアプリケーションに有用です。はじめ、他の多くのプログラミング言語に移植されています。Hadoopは、複数コンピュータ上で大規模データを分散処理するためのフレームワークです。データに高速アクセス可能な分散ファイルシステム。ジョブ管理とリソース群管理のフレームワーク。YARNをベースにした大規模データ集合の並列処理。Hadoop上のデータベース抜粋CassandraTMやHBaseTMなど。Goraはインメモリデータモデルとビッグデータへの永続性を提供するフレームワークです。MapReduceの拡張によるデータ解析をサポートします。参考サイトビッグデータを扱うために開発されたのRDBMSではないデータベースの総称。Store)や列指向(Column-Oriented)データベース、ドキュメント指向(Document-Oriented)データベースなどの新しいデータベース技術が注目を集めています。これらの新しいデータベース技術は、リレーショナルデータベース管理システム(RDBMS)とは異なる考えに基づいているので、よく「NoSQL」データベース(注1)と総称されています。TikaTMツールキットは、様々な文書から既存のパーサーライブラリを用いて、メタデータや構造化テキストを見つけたり抜き出したりできます。Luceneから生まれた、有名で、とても速いオープンソースの企業向け検索プラットフォームです。Solrは、Javaで書かれていて、Jettyのようなサーバレットコンテナの中で、独立した全文検索サーバとして稼動します。Solrは、Luceneを全文インデキシングと検索のコア技術として使っています。RESTのようなHTTP/XML形式とJSON形式のAPIを持ち、どのようなプログラミング言語からも仮想的に使うことができます。Solrの強力な外部設定機能は、どのような非Javaアプリケーションにも適合し、さらに高度なカスタマイズのために拡張プラグイン機能もあります。