インターファーム開発部ブログスマートフォン用の表示で見るインターファーム開発部ブログこの広告は、90日以上更新していないブログに表示しています。2015-10-26Anemone&Nokogiriでクローラ作成してスクレイピングエンジニアインターンの浦川です。8ヶ月が過ぎましたが、初めて書きます。院試明けのタスクとしてスクレイピングを割り当てられ、先程実装終了したので、スクレイピングについて書こうと思います。gemをインストール。'nokogiri'Anemoneクローリング(サイトの巡回)が簡単に出来てしまう素晴らしいgemNokogiriノコギリのようにスクレイピング(HTMLを解析しデータ抽出)してくれるこちらも素晴らしいgem次に文字コードをUTF-8に変換してくれるライブラリkconvをロードする。'kconv'これで準備は整いました。実際のコードを書くと長くなってしまうので、一般的な使い方を掲載します。item.xpath("div[class='item-title']").textendです。crawlの引数にはurlの配列やオプションも渡せます。オプションの例としてdepth_limitがあり、これを0にすると(2.)においてリンクで辿れるページは無視します。これでスクレイピング完了です。Anemone::Pageとなります。詳しくはこちらを参照してください。参加グループテクノロジープログラミングインターネットはてなブログをはじめよう!techinterfirmさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。