検索エンジンは、大きく分け、以下の3つで構成されます。「スパイダー」「ロボット」「検索エンジンロボット」「ボット」とも呼ばれます。クローラーは、ウェブページ内のリンク(「ハイパーリンク」)をたどることで、ウェブページを巡回・収集します。インデクサークローラーが収集したウェブページから、URLやウェブページの内容の特徴語などの抽出を行って、キーワードで検索できるインデックス(データベースの一種)を作成します。クローラーが巡回・収集したウェブページからインデックスを作成する際、さまざまな条件でウェブページの選別や分類が行われます。このため、ウェブページがクローラーによって巡回されても、インデックスに登録され、検索結果に表示されるようになるとは限りません。検索サーバーインデックスに登録されたウェブページに対して、検索結果の表示順序などの情報を追加します。ブラウザに表示される検索結果ページを作成する部分は「フロントエンド」と呼ばれます。フロントエンドは、利用者が検索窓に入力したキーワードを検索サーバーに問い合わせ、検索サーバーから返された結果を整形して表示するという処理を行っています。