2019-12-12今日もPythonでスクレイピングして圧倒的に効率化してますか?トラハックPythonでスクレイピングのプログラムを書いたけど、ログイン処理が必要でスクレイピングを先に進められない!この記事では以下について解説します。Chromeのインストール方法Twitterに自動ログインするサンプルコード私はプログラミング初心者だったものの、Pythonを1年独学してきて様々なスクレイピングや機械学習のプログラムを作ってきました。初心者の方にもなるべく分かりやすく解説していきます。私がこれまで作成したプログラムwebサイトの情報を収集してGoogleカレンダーに自動登録するbot通貨の売買量(動的なデータ)を基に仮想通貨FXを自動取引するbot機械学習を用いて画像を自動生成するプログラム(例:馬の画像→シマウマの画像を生成)私がプログラミング初心者からPythonを独学で身につけた学習方法についてまとめた記事はコチラ。本記事では、独学を始めたばかりのプログラミング初心者...ちなみに今回SeleniumというPythonのスクレイピング用モジュールを使って作成した自動ログインスクリプトはこのような動きをします。https://pvnotora.com/wp-content/uploads/2018/11/auto-login.m4v過去記事で、スクレイピングをSEOライティングに活かす方法についても語っています。キーワード選定や市場調査は時間のかかる作業なので、で...それでは本題に入ります。Chromeを使えばOK】スクレイピングではwebページから情報を抽出するだけでなく、ログインのように情報入力が必要なケースもありますよね。Chromeがオススメです。Chromeはバックエンド(私たちが見えないところ)で動いてくれて自動化プログラムに適しているからです。後はログインが必要なwebページのアカウント名とパスワードを入力するHTML情報が分かれば、自動ログインは可能になります。Chromeはpipから簡単にインストール可能です。Chromeをbrewコマンドでもインストールできます。chromedriverたったこれだけ!簡単ですね。Canary(以下、Canary)はChromeの開発版であり、通常版よりも新しい機能が毎日更新されるChromeブラウザです。Chromeを使うためにCanaryをインストールしましょう。CANARYをダウンロード]を押します。Macの場合、ダウンロードしたdmgファイルを展開してインストールします。インストール後はApplicationsフォルダに移動させておきましょう。※Applicationsフォルダに移動させないと後から紹介するサンプルコードは動きません!Pythonでログインを自動化する手順3|webページを解析してセレクターを見つける【実は簡単】ログインが必要なwebページのインプット先となるHTMLを見つけるにはブラウザの検証モードを使いましょう。検証モードを使うと簡単に対象のHTMLを見つけられますし、コピー機能でHTML情報を簡単に取得することができるからです。後でサンプルコードを紹介するTwitterのログインに必要なインプット先を見つけてみましょう。検証モードの起動にはブラウザ上でF12を押してください。別ウィンドウとして表示させた方が見やすいです。ユーザー名(メールアドレス)の入力ボックスはこのHTMLに記載されていました。ここでHTML情報を取得します。Selectorなどが取得可能です。私はXPath派なのでXPathの取得例を掲載します。XPath]を選択してください。残りはパスワードの入力ボックスとログインボタンのHTML情報を取得しておきます。以上でスクレイピングの準備が整いました!PythonのスクレイピングでTwitterへのログインを自動化する【サンプルコード付き】PythonでTwitterへのログインを自動化するためのスクレイピング用サンプルコードと、その簡単な解説をします。Chromeを使うためのオプションです。ブラウザが起動することを目視で確認するためには13~14行目をコメントアウトしてください。23行目と25行目にはあなたのTwitterアカウント情報を入力してください。28,30,37行目は先ほど取得したXPathを設定しましょう。find_element_by_xpath()というwebdriverのメソッドでXPathの指定が可能です。ブラウザの検証モードからコピーしたXPathのクオーテーションに気をつけましょう。”//*[id=“xxxx”]~”は”//*[id=‘xxxx’]~”とシングルクオーテーションに書き換えておきます。外側のダブルクオーテーションがXPath内のダブルクオーテーションで区切られてしまうからです。以上、サンプルコードの解説でした。トラハックTwitterに自動ログインできれば、自動ツイートなども実装できますね!Pythonでログインを自動化できたら...次のステップへ!スクレイピングの用途は無限大ですね~。Pythonは簡単にプログラムを作成できて良いです。トラハックスクレイピングはめっちゃくちゃ面白いです!ハッカーになった気分になれますよ(笑)機械学習のようなAIによる自動化の需要は伸びると思いますが、手軽にいろいろな作業を自動化できるスクレイピングの需要は今も高いですよ!需要があるうちに、サクッと身につけてみてはいかがでしょうか。リモートOKなスタートアップでフロントエンド|搾取されないエンジニアを増やすために、キャリア論や転職を成功させる方法、勉強方法について発信しています。