Pythonスクレイピングをご教示頂きたい。する質問をすることでしか得られない、回答やアドバイスがある。15分調べてもわからないことは、質問しよう!質問するただいまの回答率89.63%トップPythonに関する質問PythonスクレイピングJavaScriptを有効にしてくださいPythonスクレイピングをご教示頂きたい。3前提・実現したいこと(すべて解決するまで更新し続けます。(CSV、テキストなど)その後、tkinterでExcelのinputboxのようなものを作成する。※必要でないような部分は記述していません。classはそのまま表示するわけにもいきませんので英数字を入れています。出来ない部分は無理に出力も必要ありません。href>内のclassは一部商品を除き同一でした。)もし上記だけでは情報不足という事であれば、その前後も追記致します。<a>タグの中に欲しい情報が全て収まっており、ブラウザ上は横並びで一行になっています。<a>タグ1つが1行で、その下URL2,3,4...と下に続いています。その全てをページを変えて抽出が目標となっております。値段の部分では割引されている場合改行が入ります。VBAで試した際にそのままCSV出力すると改行された為、「vbCrLf」で削除し解決しました。一度下記質問内で同じページをVBAスクレイピングしております。※実際のサイトのclass名等を一部変更し記載しています。抜き出しは一応出来ております。f.write(str(a2trph))【画像】保存は終了し、現状困ったところはありません。問題があればその時にコードを記載致します。上部「解決済み」2つ目のコードで下記の様に出力されます。(一部変更)一行での記載で見づらいと思いますが実際に表示されている状態の方が良いと思いこの様に表現しています。※コード内【値段】の部分で問題が生じております。csvやテキストファイルに出力する際に、\nや\r、空白部分が邪魔になる事と存じます。所感ですが、HTMLのdivタグなどの部分で\nや\rが出力され、値段の部分に空白が入れられていると思われます。※すべてのコードで問題が生じております。各項目「'」で囲まれている。純粋にテキストだけ欲しいのですが、何故「'」に囲まれているのでしょうか。Excelにした際に【発売日】に「,」が入っており区切り文字として使用できません。いった解決策がありますでしょうか。...以下ヒット数同文]この問題をどの様に解決すればよいかご教示頂ければ幸いです。コードを一から作り直しでも構いません。Python言語の基本から仕事のやり方まで・Excel×Python最速仕事術こちらの2冊を読んだだけの知識で御座います。attachmentクリップ0気になる質問をクリップするクリップした質問は、後からいつでもマイページで確認できます。クリップした質問に回答があった際、通知やメールを受け取ることができます。自分も答えを知りたい質問者以外のユーザにも役立つ評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。質問の評価を上げたことを取り消します低評価-評価を下げられる数の上限に達しました評価を下げることができません1日5回まで評価を下げられます1日に1ユーザに対して2回まで評価を下げられます質問の評価を下げるteratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。コメントをしてください。送信する質問の評価を下げる機能の利用条件この機能を利用するためには、以下の事項を行う必要があります。16:59とりあえず、基本的に必要と思われるモジュールについてですが、単にクロールしてファイルに出力するだけであれば、tkinterは不要です。クロールするページがJavaScriptを利用してダイナミックにページ更新をしているような場合にはSeleniumが必要です。基本的に必要と思われるモジュールについてですが、単にクロールしてファイルに出力するだけであれば、tkinterは不要です。クロールするページがJavaScriptを利用してダイナミックにページ更新をしているような場合にはSeleniumが必要です。17:17ご説明有難う御座います。tkinterを使用しようと思った理由につきましては、始めにテキスト入力が出来るメッセージボックスを出力し、そこに検索ワードを入力したのちに、抽出、出力という流れをVBAの時に行いまして、こちらでそれを行う場合はtkinterを利用するのであろうと思い試しておりました。Seleniumに関しまして、どういう状況で利用するものかわかりかねましたので、説明して頂きまして有難う御座いました。当サイトでは必要ないのであろうなとは思いました。ご説明有難う御座います。tkinterを使用しようと思った理由につきましては、始めにテキスト入力が出来るメッセージボックスを出力し、そこに検索ワードを入力したのちに、抽出、出力という流れをVBAの時に行いまして、こちらでそれを行う場合はtkinterを利用するのであろうと思い試しておりました。Seleniumに関しまして、どういう状況で利用するものかわかりかねましたので、説明して頂きまして有難う御座いました。当サイトでは必要ないのであろうなとは思いました。17:34質問する際には、回答側が混乱しないように必要最小限の構成で質問された方が回答がつきやすくなります。>おそらく当サイトでは必要ない>→[requests][BeautifulSoup]のみでページ移動や抽出方法がわからないこの点に関してもう少し具体的に何がわからないのか、何を試したときにどのような結果なためわからないと考えているのかをご提示されると回答が得られやすくなるかと思います。質問する際には、回答側が混乱しないように必要最小限の構成で質問された方が回答がつきやすくなります。この点に関してもう少し具体的に何がわからないのか、何を試したときにどのような結果なためわからないと考えているのかをご提示されると回答が得られやすくなるかと思います。18:11ご指摘有難う御座います。ご指摘の件に関しまして、正直なところ申しますと、具体的に申し上げるほどの理解とPythonの知識が御座いません。上部HTMLの内容であればその2つで出来るのではないかという憶測での発言であり、実際に出来るのかどうかわかりかねます。・VBAスクレイピングで一度スクレイピングを行ったため、スクレイピングの流れ、選択に必要なHTMLのタグなどは理解できる。VBAで担っていた部分がPythonの場合何を使用すればよいのかがわからない。いうのが現状で御座います。[requests][BeautifulSoup]のみで行けるのではと思った理由に関しまして、「ページ移行はseleniumで行うもの」かと思いましたが、とあるサイトの使用モジュールを見るとseleniumがなく、[requests][BeautifulSoup]のみでページ移行する記載があり、必要がないのではと思い至りました。抽出先のサイトのページの部分が下記になります。>VBAの際は>の部分を使用し、初回は「ClassName("pagebtn")(0).Click」、2回目以降は「ClassName("pagebtn")(1).Click」としてページ送りをしておりました。ご指摘有難う御座います。ご指摘の件に関しまして、正直なところ申しますと、具体的に申し上げるほどの理解とPythonの知識が御座いません。上部HTMLの内容であればその2つで出来るのではないかという憶測での発言であり、実際に出来るのかどうかわかりかねます。・VBAスクレイピングで一度スクレイピングを行ったため、スクレイピングの流れ、選択に必要なHTMLのタグなどは理解できる。VBAで担っていた部分がPythonの場合何を使用すればよいのかがわからない。いうのが現状で御座います。[requests][BeautifulSoup]のみで行けるのではと思った理由に関しまして、「ページ移行はseleniumで行うもの」かと思いましたが、とあるサイトの使用モジュールを見るとseleniumがなく、[requests][BeautifulSoup]のみでページ移行する記載があり、必要がないのではと思い至りました。抽出先のサイトのページの部分が下記になります。VBAの際は>の部分を使用し、初回は「ClassName("pagebtn")(0).Click」、2回目以降は「ClassName("pagebtn")(1).Click」としてページ送りをしておりました。上記「試したこと」内で出来た部分までの説明をした方が良いでしょうか。スクレイピングしたいページに到着(1ページ目)現状はここまでとなっております。止まった理由に関しましては、seleniumを使用したため、移動後のURL取得方法がわからなくなった?のだと思われます。完全に混乱しており、説明が出来ない現状にあります。抽出する為にどのモジュールとどういうコードを書けばよいのかがわかりかねております。・GUI(pythonでの言葉がわかりません。・CSVやテキストファイルにデータを出力この様な流れを希望しております。上記「試したこと」内で出来た部分までの説明をした方が良いでしょうか。現状はここまでとなっております。止まった理由に関しましては、seleniumを使用したため、移動後のURL取得方法がわからなくなった?のだと思われます。完全に混乱しており、説明が出来ない現状にあります。抽出する為にどのモジュールとどういうコードを書けばよいのかがわかりかねております。・GUI(pythonでの言葉がわかりません。この様な流れを希望しております。18:25クリックしたかのようにしてデータを取得したい場合はSelenium、HTMLをパースしてURLを取得し、そのURLを指定してページデータを取得してパースするのがBeautifulSoupといったイメージでしょう。クリックしたかのようにしてデータを取得したい場合はSelenium、HTMLをパースしてURLを取得し、そのURLを指定してページデータを取得してパースするのがBeautifulSoupといったイメージでしょう。18:37有難う御座います。BeautifulSoupに絞って再度調べ、いろいろと試してみたいと思います。BeautifulSoupに絞って再度調べ、いろいろと試してみたいと思います。件sort評価が高い順sort新着順sort古い順linkcheck解決した方法0リストから1つずつ表示すれば「'」の出力が無くなった。stripで解決した理由はわかりかねますがすべての項目を出力することが出来たため、終了とします。評価が高い回答ほどページの上位に表示されます。remove低評価0回答の評価を下げる下記のような回答は推奨されていません。評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。エラーに困っています。1state変更前のデータを取得したい。思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る閉じるトップPythonに関する質問Pythonスクレイピングをご教示頂きたい。頂いたご意見への回答は行っておりません。