2008でWebスパムページをHeritrixで見つけるプラグインを開発している人がいる:http://webteam.archive.org/confluence/display/Heritrix/Web+Spam+Detection+for+Heritrixざっと読んだところ、Webスパムを見つける方法として特に「JavaScriptリダイレクション」と「クローキングスパム」の構造的特徴に注目してそれがスパムの要件を満たしているかどうかを発見するもののようである。JavaScriptリダイレクションではないここでOrgURLはオリジナルのURL、DstURL(E)はJavaScriptをONにしたときのデスティネーションURL、DstURL(D)はJavaScriptをOFFにしたときのデスティネーションURLである(実際には2度訪れる必要はなく、JavaScriptを評価すれば見極められる)。...};同じホスト内へのリダイレクションこれ以外のリダイレクションをJavaScriptリダイレクションスパムであるとみなすことができる。これだけでは偽陽性(JavaScriptリダイレクションスパムでないサイトもスパムであると判定されてしまうこと)が存在するので、「手動」で判定できるクチを用意するようである。日本語のWebページでも問題なく使えそうなプログラムなので、興味のある人は使ってみてはどうだろう(使ったらぜひ感想を聞かせてください)。比較のポイント商用検索エンジンを購入した企業担当者は読まないでください。McCandlessFastVectorHighlighterについて解説記事を寄稿しました。