ブラウザなどのDOMではタグが省略された要素が補われますから、上のセレクタはブラウザなどでは動かなくってしまいます。削除すれば、どちらの環境でも動くセレクタになります。個の銅バッジ2webスクレイピング実行時のエラーエラーメッセージから、エラーは以下のところで発生しています。それで、query_imageの内容に問題があると思われます。個の銅バッジ2pythonのwebスクレイピングについてBeautifulSoupに指定しているパーサが間違っているようです。指定してみてください。nth-childを使わず、一旦複数の近い要素をリストとして要素したあとに、それぞれの項目をよしなに扱うことで適切に取得できるようです。APIの公式な資料を入手した方が早くて堅実だと思うのですが。仕様変更とか遮断に気を使わなくて済むでしょうし。モジュールの定義を見るとパラメータで任意のクォート文字列に変更したり、クォートの挙動を変えることも可能なようです。個の銅バッジ1スクレイプ結果の出力アクセス先URLのhttp://b.hatena.ne.jp/search/text?safe=on&q=Python&users=50をブラウザで開いてソースを確認してみてください。指定したCSSセレクタの.pager-nextが見つからなければそこで処理を終了するようなプログラムになっているので、書いた通りにプログラムが動いているに過ぎません。ちなみに、pager-nextで検索すると以下の通りヒットします。セレクタを使って次のページのリンクを取得しているのですが、参考になさっているブログ記事が書かれたときとはページの構造が変わっており、そのままのセレクタでは動作しなくなっています。箇所を修正しないと上手く動作しません。ブラウザの「検証」機能等を使ってスクレイピング元のサイトを解析し、新しいセレクタに更新してください。デバッグ時に何回もスクレイピングする際にはその間の時間を充分に長くとって、サーバーに負荷をかけないようにご注意ください。以下のようなCSSセレクタで各要素の値を取得できました。比較的新しいBeautifulSoupではそのままCSSセレクタが使えるはずなので、以下そのまま利用して取得できると存じます。FunctionsはGoogle以外のネットワークの外部通信に制限があります。AppEngineなどのGoogleの別のプロダクト経由で通信するとよいでしょう。個の銅バッジ1seleniumを使って、見出しからタイトルを全てスクレイピングしたいIWebDriver.FindElementのかわりにFindElementsメソッドを使用します。個の銅バッジ1Python3とBeautifulsoup4を使ったHTMLのパースについて質問で提示されたhtmlには閉じられていないタグが含まれますが、<h2>...</h2>のようにタグが閉じられているhtmlを用いる前提で記述します。提示されたhtmlは入れ子になっていないので、findAllを使ってh1の中にあるh2は取得できません。下記のような構造ならばtitle1.findAll('h2')でh2が取得できます。今回のような並列構造では、find_next_siblingを使って条件付きで隣のタグを取得する必要があります。下記のようなコードで、目的の本文を取得できそうです。この記事が参考になるかもしれません。エラーと扱うような設定が入っているはずなので、それを外してください。MacでPython3.5にseleniumをインストールして実行すると以下のメッセージも出ていました。表示されているURLから自分の環境のファイルをダウンロード。個の銅バッジ1pythonスクレイピングにて一部しかcsvに書き込まれない・・?おそらくfor部分のインデントが間違っています。あとENCODEをutf-8に変えた方が良いとエラー文がでました。下記コピペでCSVファイルが生成されます。個の銅バッジ1rvestを用いたスクレイピングおそらくそのページにある最大なテーブルがほしいです。問題は、そのテーブルのヘッダーがややこしいです。3行にある最大が二つのカラムを挟んでいます。それに当たる下のHTMLにただ一つのセルがコードしてあります。TRUEを与えなければなりません。すると、でてくるdata.frameに、満々じゃない行に適当にNAをいれてあげます。条件判定をしつつ、Aタグの中身を評価して一致したらnextと同義であるという考えにしました。