2018年5月29日0件のコメントやることGoogleのキーワード検索結果の一覧URLを取得します。コピペしてもいいのですが、一応エンジニアの端くれということで、JAVAを使ったスクレイピングシステムを作ってみます。スクレイピング初めてだったのですが、そんな苦労なく動作させることができました。今回はphantomjsというヘッダレスブラウザを利用しています。ヘッダレスブラウザとは、人が見るための画面表示を持たないブラウザです。phantomjsを利用すると、webサイトを開いた際に、javascriptの動作の結果出来上がったHtmlをスクレイピングすることが簡単にできます。今どきのサイトってサイトアクセスした後にjavascriptでHTMLをレンダリングするみたいな構成のものがあります(Googleもそうだった)。いったサイトをクローリングする際にphantomjsは実装難易度という観点ではとても役に立つと思います。利用したものphantomjsJAVAmavenselenium、jsoupphantomjsの準備http://phantomjs.org/こちらから最新版をDLしてください。DL後、解凍すると、bin/phantomjs.exeができあがります。phantomjs.exeをプロジェクトのルートフォルダに格納してください。いうフォルダ構成かと思います。プロジェクト名フォルダ直下に格納すればOKです。プロジェクトの作成mavenプロジェクトのシンプルなプロジェクト作成を選択。単純にスクレイピングする実験的なプロジェクトなので。ブロックe1.printStackTrace();}}}こんな感じで動きました。簡単で助かります!!カツオが開発したWebサービスです。「セールサーチ」ネットショップのセール情報の検索サイト!平成の想い出を気軽に年表にしてシェアすることができるサービスです。