2019-01-15今朝はスクレイピングを復習して、このブログのURLの一覧を取得しました。使ったのは、Pythonとbeautiflsoupです。2019年1月11日スクレイピングに関する過去記事の復習です。Python初心者が、BeautifulSoupではてぶ人気記事をWEBスクレイピングBeautifulSoup×Pythonで、初心者でも10分でできるRSSスクレイピングを解説スポンサーリンクソースコードまずはコード全文貼っておきます。動かすにはpipでbs4をインストールしておく必要があります。難しいところはないのでざっくりと。自分のブログのサイトマップにアクセスし、データを引っ張ってきます。urlopen("https://yukituna.com/sitemap/")この行ですね。これで変数htmlにリンク先のHTMLデータが格納されたので、ここからbeautifulosoupを使って必要な情報を抜き出していきます。HTMLから情報を抜き出すために、HTMLparserを使います。"html.parser")HTMLparserとは、PythonでHTMLを解釈するための基礎処理のようなものです。データが入力されると、開始タグ、終了タグ、およびその他の要素が見つかる度にハンドラーメソッドを呼び出します。HTMLParserサブクラスを使ってそれぞれを上書きして行います。シンプルなパーサー¶(原文)parserでHTMLを処理したら、最後にbeautifulsoupでリンク情報を抜き出します。"sitemap_list"}).findAll("a")findallメソッドで取得した要素は、配列形式で渡されるため、あとはfor文などで煮るなり焼くなりお好きにどうぞ。まとめクラウドワークスの案件で、サイトのURL一覧を取得してほしいという案件を見つけたので作ってみました。Pythonで行う基本的なスクレイピングは驚くほど簡単にできますね。今はデータ分析の分野にも関心があるので、今後スクレイピングで取得したデータを用いて何か分析をできたらいいなと思っております。コメントをキャンセルメールアドレスが公開されることはありません。千葉県を中心にボランティア活動や勉強会などを行っています。好きな言語はC#とPythonとC++です。関係の技術が好きです。XamarinとかTypeScriptも触ってます。質問・相談・お仕事のご依頼は、Twitterまたは問い合わせフォームまで。今月の人気記事1一年間プログラミングを独学した過程を振り返ってわかったこと。