検索に移動この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。出典を追加して記事の信頼性向上にご協力ください。search)とは、コンピュータにおいて、複数の文書(ファイル)から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味で使用される。「grep」とはUNIXにおける文字列検索コマンドであり、複数のテキストファイルの内容を順次走査していくことで、検索対象となる文字列を探し出す。一般に「grep型」と呼ばれる検索手法は、事前に索引ファイル(インデックス)を作成せず、ファイルを順次走査していくために、検索対象の増加に伴って検索速度が低下するのが特徴である。ちなみに「grep型」とは実際にgrepコマンドを使っているという意味ではないので注意のこと。索引(インデックス)型[編集]インデックス作成型全文検索システム検索対象となる文書数が膨大な場合、grep型では検索を行うたびに1つ1つの文書にアクセスし、該当データを逐次検索するので、検索対象文書の増加に比例して、検索にかかる時間も長くなっていってしまう。そこであらかじめ検索対象となる文書群を走査しておき、高速な検索が可能になるような索引データを準備することで、検索時のパフォーマンスを向上させる手法が取られている。indexing)と呼ぶ。出現頻度...」といったようなリスト形式(テーブル構造)を取り、文字列が検索キーとなっている。検索時にはこのインデックスにアクセスすることで、劇的に高速な検索が可能となる。索引文字列の抽出手法[編集]形態素解析[編集]英文の場合は単語と単語の間にスペースが入るため、自然、スペースで区切られた文字列を抽出していけば、索引データの作成は容易となる。日本語の場合は、単語をスペースで区切る「わかち書き」の習慣がないため、形態素解析技術を用いて、文脈の解析、単語分解を行い、それをもとにインデックスを作成する必要がある。形態素解析を行うためには解析用の辞書が必須であり、検索結果は辞書の品質に少なからず影響を受ける。辞書に登録されていないひらがな単語の抽出に難があるなど、技術的障壁も多く、検索漏れが生じることが欠点とされる。N-Gram[編集]「N文字インデックス法」「Nグラム法」などともいう。文字を含めた状態で出現頻度を求める方法。tri-gram)」と呼ばれる。(終端)」と2文字ずつ分割して索引化を行ってやれば、検索漏れが生じず、辞書の必要も無い。形態素解析によるわかち書きに比べると、2つの欠点がある。意図したものとは異なる検索結果(いわゆる検索ノイズ)の発生と、インデックスサイズの肥大化である。検索ノイズの一例として、「京都」で検索すると「東京都庁」という適合しない検索結果が返ってくる場合が挙げられる。辞書が不要その他[編集]他に日本語文書から索引文字列を抽出する手法として、文字種による切り分け、接尾辞配列、シグネチャ法などがありそれぞれに特長があるが、先の2種に比べると大規模なシステムには適用しづらく、精度の問題もあり主流とはなっていない。文書フィルタ[編集]検索対象文書がプレーンテキスト以外、たとえばHTML文書ならばタグの除去等の処理を行ってテキストを抽出できるが、特定メーカーのワープロ独自形式などバイナリ形式の場合、インデクサは直接ファイルからテキストを抽出することが出来ないため、文書フィルタを利用して該当ファイルからテキストを抜き出す必要が生じる。文書フィルタ機能はインデクサが内包しているものもあれば、アドインなどの機能拡張によって実装する場合もある。代表的な文書フィルタXpdfXpdfNamazuでPDF文書からテキストを抽出するために利用されることが多い。Service、Windowsデスクトップサーチのアドインとして各社より提供されている。Finder」からフィルタ部分を抜き出したもの。標準文書フィルタとして利用されている。file、転置インデックスとも)と呼ばれるものである。インデクシングや実際の検索の際には「二分探索」などのアルゴリズムを使って、高速に検索単語から文書IDを探し出すことが出来る。大きな違いが出ることがある。precision)」が用いられる。前者は「いかに検索漏れが少ないか」をあらわし後者は「いかに検索ノイズが少ないか」をあらわす。一般的に両者はトレードオフの関係にあるといわれている。(→「情報検索#検索性能の評価」)ランク付け(スコアリング)[編集]検索された文書は「更新順」「ファイル名順」「文書のタイトル順」などにソートされる。一般的な検索エンジンでは独自のランク付けルールも適用し「重要度」などと呼んでいるものもある。ランク付けの基本的な考え方は「ユーザーにとって重要と思われる文書を上位に表示する」ことであり、以下のような手法が採られることが多い。文書中の検索単語出現頻度HTMLタグの解析<title>タグや<H1>タグを重視する。tf-idfTFとは単語の出現頻度、IDFは全文書中において単語が一部の文書に集中している度合いをあらわし、両者を掛け合わせることでランク付けを行う。ページランク「重要度の高いページからリンクされているページは重要である」という原理に基づいてランク付けを行う。Googleで採用されている。主な用途[編集]WWW検索サービス検索サービスの中では、超大型の機能が求められる分野で、熾烈な競争が行われてきたが、2013年現在では「Google」または「Bing」のいずれかに集約されつつある。ウェブの初期から行われていたサービスのひとつで、技術の進歩もめざましい。企業向け社内検索サービス社内ファイルサーバの文書資産を高速全文検索するシステム。WordやExcelといったオフィススイートから、メール、データベースなどの多くのファイル形式に対応し、企業の性格に応じて、多様な検索結果を返す。近年、電子データの企業資産の重要性が増し、非常に発達してきている分野。個人のローカルファイルを検索するためのアプリケーションソフトウェア。Word、Excel、PDFなど様々なファイル形式に対応している。画像データなどの、個人の保有にあるマルチメディアデータの検索に特化したものもあり、スピードと手軽さが求められている。代表的な全文検索エンジン[編集]この節は広告・宣伝活動のような記述内容になっています。ウィキペディアの方針に沿った中立的な観点の記述内容に、この記事を修正してください。system以下の製品群と組み合わせて使用する。(N.M-gram)。わかち書き方式も併用可。分散インデクス、Webクローラ、検索用CGIなど標準添付のプログラムが充実。N.M-gram方式とは、N文字に続くM文字のハッシュ値を計算し保持することによって、フレーズ検索が可能。フォルスドロップあり。大規模なインデックスも作成可。msearchインデックスは「ファイル名|タブコード|本文|改行コード」の単純なもので、これにGrep検索をかけることで対象文書を抽出する。設置が非常に容易であり、root権限が無くてもインデックスの更新が可能なため、個人の小規模サイトを中心に用いられている。UTF-8などUnicodeにも対応したUnicode版msearchがある。Namazuわかち書きベース。2単語によるフレーズからハッシュ値を計算し保持することによって、フレーズ検索が可能。drop=誤った候補)あり。古くからあり、日本で広く使われている全文検索システム。小中規模を対象とし、大規模が苦手。Lucene/SolrAnalyzerと呼ばれるクラスを選ぶことにより、N-gramやわかち書き形式でのインデックス作成ができる。Javaによる全文検索システム。Luceneがクラスライブラリとして提供され、Luceneを利用した全文検索サーバーがSolrとなる。楽天などで利用されている。大規模なインデックスも作成可。スケーリングし稼働率、対障害性を高めるZookeeperを使った仕組みを備える。単語の出現位置情報を保持し、正確なフレーズ検索が可能。フォルスドロップなし。他のプログラムからライブラリとして呼び出して利用する。MySQLの中に全文検索エンジンを組み込むパッチが提供されており、MySQLを利用しているプログラムであれば全文検索機能を手軽に実現できる。PostgreSQLに対して、Sennaを全文検索エンジンとして組み込むためのモジュールLudiaが公開されている。Perlバインディングにより、Perlスクリプトから簡単に利用することができる。PHP、Ruby、Pythonバインディングも提供されている。大規模なインデックスも作成可。分散検索の機能はない。高い独自技術「NL-Vgram」で、1つのインデックスで概念検索と全文検索の両方を実現可能。1000)概念検索や文字列一致検索に加え、絞り込み検索など高速で多彩な検索が特徴。V」はビューポイント、ファセット・ナビゲーションなど独特の機能を有する。N-gramの両方をハイブリッドに利用可能。ログインしたユーザーが参照可能な結果のみを表示するセキュア検索が特徴。超高速かつ多彩な検索方式が特徴。SMART/InSight形態素解析、N-gram選択可。ActiveDirectoryなどのACL継承機能有り。Solrをエンジンとして使用。Solrベースでプラグインを組み込み、検索画面・クローラーをパッケージングした全文検索システム。形態素解析とN-Gramで日本語を分割し、辞書登録の負荷を大幅に軽減。独自開発のクローラーによるパフォーマンスの高さが特徴。Velocityクラスタリング技術による、類似した検索結果の自動カテゴライズ機能。ActiveDirectoryと連携したACL検索等、企業内の既存セキュリティに適合させるカスタマイズ性の高さが特徴。提唱しており、その中核となるコア技術QuickSolution住友電工情報システムによって提供されている全文検索エンジン。2013からファスト製品の技術を基にした検索エンジンを標準で提供。SharePointとのハイブリッド検索に強みを持つ。フォルダを詳細に設定可能。ネットワークドライブにも対応。サーチ」というパッケージで配布されていた。Tiger以降に標準搭載。「Sherlock」の後継ソフト。(Google)わかち書きベース。web検索と同じエンジンでローカルファイルを検索できる。欠点は、大きなファイルの場合、後半部分がインデックス化されないなどの問題。(N.M-gram)。わかち書き方式も併用可。EstraierにGUIをつけた物。デスクトップなどの常駐型とは異なり、インデックスを張ったあとはコンピュータが重くなったりしない。デフォルトではオフとなっている。ローカルディスク全体をインデックス化できるが、CPU負荷は高くなる。メール検索には非対応。デスクトップサーチをベースにしたシステムになった。Office95~2000に標準搭載。Officeファイルが対象であり、メール検索などはできない。XP以降は、インデックス検索に置き換わった。BeagleLinuxなどのUnix系OS向けMetaTrackerLinuxなどのUnix系OS向けbutterfly_search(バタフライサーチ)アルファベットは空白区切り、それ以外の文字はN-gramベースでインデックス化。検索対象はテキストファイルのみ。(Search++)Luceneによる全文検索システムPDF、新旧Officeドキュメント対応サーチクロス(ビレッジセンター)形態素解析によるわかち書きは採用せず。詳細なアルゴリズムは不明だが、文字種により単語を分割し、インデックスに登録していくタイプと思われる。ひらがなは事前に辞書登録されたもの以外は検索できない。アルゴリズムが単純な分、インデクシングが極めて高速。コンセプトサーチ(ジャストシステム)自然言語による検索が可能。文書管理アプリケーションDocuWorks(富士ゼロックス)のバージョン6.0より「ExpandFinder」という名称でバンドルされている。(日時は個人設定で未設定ならばUTC)。表示-継承ライセンスの下で利用可能です。追加の条件が適用される場合があります。詳細は利用規約を参照してください。Cookieに関する声明モバイルビュ。