2010年11月24日サイトには、URLは異なるがウェブページの内容は変わらないというケースがあります。URLがトラッキング用のパラメータを含んでいる場合や、URLに含まれるパラメータをもとに閲覧環境によってウェブページの表示を最適化しているような場合です。例http://www.example.com/products?trackingid=feedhttp://www.example.com/products?sessionid=hgjkeor2http://www.example.com/products?printable=yes&trackingid=footerこのような場合、検索エンジンのインデックスに個々のURLで登録されると、同じ内容のウェブページが検索結果に表示されたり、同じ内容のウェブページであるにもかかわらず、各URLにクローラーが巡回し、サーバーに負荷をかけてしまう、また、サイト内の巡回が効率的に行われないといった不都合が発生することがあります。このようなことを避けるため、サイト管理者がウェブページのなかで<link>タグを利用して、重複を避けるように検索エンジンに通知する方法が用意されています。/>たとえば、http://www.example.com/products?trackingid=feedの<head>に上記のように記述した場合には、http://www.example.com/products?trackingid=feedというURLのウェブページは、http://www.example.com/productsというURLのウェブページと同じ内容であることを、検索エンジンに通知していることになります。「href=」に記述するURLは、絶対参照(参照先のファイルのURLを記述する方法)、相対参照(参照元のファイルの場所を基準にして「/」や「.」などを使って参照する方法)のどちらでもかまいません。この記述は、参照してほしいウェブページを指し示すという点では301リダイレクトの機能に似ていますが、301リダイレクトの場合は、リダイレクト元のウェブページに内容がなく、自動的にリダイレクト先に遷移させられるという点が異なります(参考:「リダイレクトとは?」)。検索エンジンは、内容が重複するウェブページのクロールやインデックス登録を避けるための情報のひとつとして、このタグの記述をほかの情報やデータとともに利用し、最終的に重複とみなすかどうかを自動的に判定します。この記述は、Yahoo!検索だけでなくGoogle、MSNの検索エンジンにも共通の規格です。注意サイトの構築にあたっては、可能な限りURLを正規化し、ウェブページの内容が重複しないようにすることをおすすめします。