(次へ)ボタン&サイトを全スクレイピング今回はSeleniumというモジュールを使って、さらに分かりやすく精度の高いスクレイピング&ブラウザ操作が可能であることを知ったのでメモを残します。・Seleniumってなに?・Seleniumで出来ること・まとめスポンサーリンク・Seleniumってなに?Seleniumはもともとアプリの自動テストツールとして開発されていたようです。それが「あれ、これスクレイピングとかでも使えるんでね?」という話になって、今ではその界隈でよく使われるツールとして活躍しています。Pythonに限らずJavaやRubyなど、さまざまな言語に使われているツールです。そのため情報量が多く、分からないことがあればネット検索すれば大体は解決するというのが強みの一つです。・Seleniumで出来ることSeleniumがあればスクレイピング、ブラウザ自動操作が可能です。Robobrowserは内部にBeautifulSoupが組み込まれているので、Robrowser単体でテキスト取得などが可能です。言うまでもなくSeleniumでもそれは可能で、さらに要素の取得方法が豊富です。以下(Seleniumクイックリファレンスより抜粋)の要素からSeleniumは要素を特定、取得することが可能です。・By.xpath(XPathを用いて要素を指定する)12345678By.id(id属性の値を用いて要素を指定する)・By.name(name属性の値を用いて要素を指定する)・By.tagName(HTMLタグ名用いて要素を指定する)・By.className(クラス名を用いて要素を指定する)・By.linkText(a要素の文字列を用いて要素を指定する)・By.partialLinkText(a要素の部分文字列を用いて要素を指定する)・By.cssSelector(CSSセレクタを用いて要素を指定する)・By.xpath(XPathを用いて要素を指定する)HTMLにidがなければnameから、nameがなければxpathから...。これだけ取得方法が豊富にあるため、特定できないという問題が起こりません。テキスト抽出、クリック、キーを打ち込む、テキスト入力もできるため自動でログインすることも可能です。SeleniumはJavascriptが認識できます。よって、ダイアログが表示されて先に進めねぇじゃ~ん!!ということになりません。・まとめ以上、Seleniumとプログラムの例を紹介しました。僕が愛読している「Pythonクローリング&スクレイピング」にはSeleniumを使う際にPhantomJSを使うように説明していますが、現在はサポートを終了していますので、Chromedriverを使うことをお勧めします(PhantomJS開発者もChromeを使うことをおススメしてる)。IT関係シェアする:TwitterFacebook0はてブ0Pocket0LINELinkedIn魔威駆しれっと更新ブログ関連記事プログラミング【入門】Pythonで初Webアプリ開発!作り方&必要な知識を語るPythonに続きHTMLの勉強もして、ようやく身につき始めたのでWebアプリ開発に着手したところ、ものの3日くらいでオリジナルアプリが完成しました。今回はその経験を振り返ってPythonでWebアプリを作る方法と必要な知識を紹介します。SEO【Python】ブログ記事をスクレイピング&Twitterに投稿SNSでサイト更新を宣伝するのは基本ですが定期的に過去記事も紹介したいと思ったことはありませんか。今回はPythonでブログやWebサイトをスクレイピングして、全記事のうち一つをランダムにチョイス、Twitterに投稿する方法を紹介します。暮らしプログラミングの仕事を受けるのに必要なスキルやレベル副業やフリーランスとして稼ぐためにプログラミングを勉強している方は、どのくらいのレベルで仕事を受けることが出来るのか気になるかもしれません。以前開発したWebアプリをデプロイするためのサーバーを探していましたが、その際もともと契約していたXサーバーでなくHerokuを使うことに決めました。契約していたXサーバーを使わずにHerokuを採用したのか語ります。IT関係Ubuntuのストレージ不足が未割り当て領域を見つけて容量2.5倍UP今までちまちまと不要なファイルを削除して慢性的なストレージ不足を凌いでましたが、そもそも未割り当て容量があることを発見して、それを解放して12Gしか使用できなかったUbuntuストレージを一気に30Gまで使用可能にした方法を紹介をします。今までのノートPCがフリーズしたりメインメモリが足りずライブラリがインストールできない問題が出てきたので、新しいパソコン買いました。今回はMacPCを買わずに敢えてWindowsの(しかもデスクトップ)を購入した理由を語っていきます。魔威駆IT関係や自転車ロードレースなど手広く扱うブログを運営しています。日本で2番目に有名なマテ茶特化ブログの管理人もやってます。魔威駆IT関係や自転車ロードレースなど手広く扱うブログを運営しています。日本で2番目に有名なマテ茶特化ブログの管理人もやってます。フィクション未分類カテゴリー別人気記事seleniumで要素が取得できない時はこの6つで乗り切れ!2019.07.222020.01.30【Python】スクレイピングで得た情報をGmailで送信する2019.03.212019.07.23【Python3】PycharmからBeautifulSoupをインストール2019.02.032019.03.11【入門】Pythonで初Webアプリ開発!作り方&必要な知識を語る2019.04.292020.01.22【Python】LINEでメッセージを自動で通知させる2019.03.252019.03.27スポンサーリンク。