徳島県に怒られました。worldすだちくんと世界一周中!FJ(@FJ_fromAWA)です!今回は今流行りのプログラミング言語・Pythonを使ってWebスクレイピングさせる実際のコードを公開、そして解説します。この記事を読めば、Pythonを使って、Webサイトから任意の情報を抽出(スクレイピング)させることができます。できるだけ短いコードで初心者の方にも簡単にWebスクレイピングを体験してもらうことができます。今回は例として、Yahooのドル円の取引値をWebスクレイピングで出力させます。記事内のPythonのコードをコピペすれば、そのまま使えるのでぜひWebスクレイピングを体験してください。まとめPythonでWebスクレイピングの可能性これからWebスクレイピングは重要な技術のひとつとなっていくでしょう。Webサイトから任意の情報を抽出(スクレイピング)させることができれば、データの解析に大いに役立つからです。ビッグデータから必要な情報を集め、データ解析を行うことで課題の解決に貢献することができます。うまく使えばWebスクレイピングだけで食っていけるほどの強力な技術です。PythonでWebスクレイピングの仕様https://m.finance.yahoo.co.jp/stock?code=USDJPY=X今回は上記のアドレスから取引値をスクレイピングさせます。HTMLの知識が必要になりますが、簡単にできるので心配不要です。先ほどのYahooのWebページ上で右クリックし、「検証」という項目をクリックします。すると、以下の様なHTMLのコードを表示させることができます。ここで、下記の矢印の箇所をクリックします。今回調べたい取引値が表示されている所にカーソルを合わせます。すると該当箇所のHTMLコードを参照できる様になっています。今回、Webスクレイピングで必要となる情報はclassです。priceFin」という所ですね。これで今回のWebスクレイピングに必要な情報はオッケーです!WebスクレイピングのPythonコードそれではPythonでWebスクレイピングのコーディングをしていきましょう。超短いコードで簡単にできるので安心してください。ライブラリ「beautifulSoup」のインストールまずは使用するライブラリ「beautifulSoup」のインストールをします。このbeautifulSoupはHTMLやXMLを解析する為のライブラリです。beautifulSoup4これでPythonでbeautifulSoupを使用できる様になりました。PythonでWebスクレイピングのコードサンプルライブラリのインストールが終わったらpythonでコードを書きます。reqまずは必要なライブラリをインストールします。req.urlopen(url)URLを指定し、req.urlopenというものを使い「res」に格納します。price)HTMLを解析させる「html.parser」を使い、「soup.select_one」で冒頭で調べたHTMLコードのクラスを指定します。出力すると取引値が出力されます!※ドル円の取引値なので、日時に応じて値が変わります。まとめ今回はPythonでWebスクレイピングのコードをまとめました。参照したいURLを見つけて、HTMLのクラスを調べることができれば、様々なサイトから任意のデータを抽出することができますね。こんなに少ないコードでWebスクレイピングが可能なのは、ライブラリを使用して効率よくコードを組めるPythonならではです。【お金】世界一周して気付いたお金の有効的な使い方。コメントをキャンセルメールアドレスが公開されることはありません。コメントデータの処理方法の詳細はこちらをご覧ください。FJ徳島県のゆるキャラ「すだちくん」と世界一周中。1989年徳島県出身。2018年3月よりフィリピン英語留学、そして世界一周の旅へ。40ヶ国以上を訪れている。ブロガー、フリーwebライター。2019年4月からイギリスでのワーホリを開始。自動車IoT関連の会社で働き、合間を見つけては旅を繰り返している。【ワーホリ】カナダトロントの魅力!留学はロンドンとどっちが良い?海外生活は寂しい?孤独と上手に付き合う方法。Automattic.。