Web::Scraperを使ったサイトクロールのサンプル。内容はRSSで取ったほうが早いけど、あくまでサンプルなので。2013/04/06こちらのドキュメントは管理都合によりPerl関連ドキュメントのネームスペースへ移動しました。Yahoo!ニュースのトピック切り出しとりあえずこんなコードは良く見かけますが例を挙げておきます。yatopic.plとでもしておきましょうか。}説明yatopic.plでは、WWW::MechanizeでYahoo!ニュースのトピックスページを取得、Web::Scraperで利用するHTML要素の切り出しを行っています。Yahoo!ニュースのトピックスページになります。編集センターに別れている為、各々のトピックスへのリンクを取得する必要があります。HTML中から該当する箇所を切り出ししますが、そのHTMLの切り出し位置をXPathで指定します。//div[@id="globalNav"]/ul[@id="gnSec"]//liDIVタグのid属性が“globalNav”で、その内包要素のULタグ、id属性“gnSec”のLIタグにそのリンクがありますので、各LIタグ以下のコレクションを作りキーmenulinksで保持します。そのコレクションの内容は、Aタグのhref属性、テキスト、となっています。次にこのコレクションのリンクで指すページ(HTML)を一つずつ取得し、トピックの情報を切り出し、出力します。//div[@id="topics"]/div[@class="topicsList"]/ul[@class="clr"]//liid属性が“topics”のDIVタグ以下にあるid属性“topicsList”のDIVタグにULタグ、class属性“clr”があります。この配下のLIタグに日時とテキスト、記事へのリンクががありますので、各LIタグ以下のコレクションを作りキーtopiclinksで保持します。そのコレクションの内容は、SPANタグのテキストにある日時、Aタグのhref属性、テキスト、となっています。127.0.0.1ページ用ツール文書の先頭へ。