2018年7月27日シェアツイートシェアブックマークマーケティングにデータ解析、情報追求にあると便利な「Webスクレイピング」という技術。必要なくても知っておくだけで随分可能性が広がると思います。5通りのやり方でご紹介。それぞれに特徴がありますので、Webやデータが好きな方、是非一読してみて下さい。No.1のCodeCampが運営するプログラミング未経験の方のための学習メディアですCodeCampとは?(受講生体験記)「エンジニアは女性のキャリアとして魅力的」未経験からの転職体験記リモートワーク×多拠点居住の新しい生き方を実現する。HTMLコードを切り抜いたり、欲しいデータを抽出したりと、多くの場面でデータマイニングの欲求を満たしてくれます。自分の実績数を抽出してみます。コードまでも表示されています。>>この技術を応用すれば、プロフィール・ページなどで使えそうですね。Webページによってはスクレイピング防止なのかどうか理由は分かりませんが、取得した要素(データ)を特定できない、特定しにくいサイトもあります。それからスクレイピング防止のコードを埋め込んでいるサイトもあります。Soupも無力になってしまいます。この問題は「正規表現」を使うとクリアできる場合がありますね。私の場合は、確定申告時にいつもまとめて領収書を手作業で保存していました。面倒くさいですし、時間がかかりますよね。Pythonで解決できました。2019年版、それから他のワンパターン作業も自動化できると思います。いうモジュールもあります。比べて多機能でいくつかの自動化にも役立ちますが、その反面ブラウザを起動させますので”遅い”というデメリットも。未体験の方も多いと思いますので、「Pythonでこんなこともできるんだな」という参考として是非サンプルプログラムを実行してみて下さい。ログイン名、パスワードはご自身のものに変更して下さい。下記コードのパスワードは変更されています。コードを走らせてみると分かるのですが、ちょっと不気味です。ブラウザには、URL表記の左にボットマークが現れて、自分は何もクリックしないのに画面が切り替わります。これを応用すると、2,3ある仕事用のページを一括表示できたり、複数のオークションサイトを一括で開いて手続きを確認できますね。これって、結構時間の節約になると思います。動かせますので、Python、使いこなしたいですね。--実行環境によりエラーもいろいろと思いますが、私の場合は以下のエラーに遭遇。