Serviceを読んで理解し、同意したものとみなします。スタック・オーバーフローはプログラマーとプログラミングに熱心な人のためのQ&Aサイトです。1,178件0ウェブスクレイピングをしてツイッターのアカウントを収集しているのですが、あるウェブサイトがどうしてもスクレイピングできなくて、困っています。以前、ツイフィール(※1)というサイトをウェブスクレイピングしたことがありました。情報を収集することができていました。今回はツイフィールではなくて、ツイプロ(※2)というウェブサイトをスクレイピングしたいと考えています。ウェブスクレイピングできない部分があって困っております。最初は1ページに20件しか表示されていなく、「もっと見る」ボタンを押すことで更に20件読み込むことができます。「もっと見る」ボタンを押す前と、押した後で、ウェブのURLは変わっていません。ツイフィールのときに利用したような手法は使えないと考えています。このように、ページングした時にウェブのURLが変わらないタイプのサイトは、どのような手法でウェブスクレイピングすればいいのでしょうか?言語はpythonで、スクレピングのライブラリはbeautifulsoupを使っています。ように、本家SOに類似の質問が見つかります。その回答によると、seleniumなどを併用しないとイベントの発火はできないようです。このようなサイトをスクレイピングする場合は、BeautifulSoupだけでは限界があると認識しています。※3のサイトのソースを確認したところ、URLの末尾に/{数値}を追加すれば目的の情報は得られそうですが...。|回答スタック・オーバーフローに参加してくれて、ありがとうございます!質問の回答を共有してください。回答を説明し、自分の検討結果も共有してください。意見を述べること(意見を述べるなら、参照リソース、自分の経験で意見をサポートしてください)さらにサポートが必要な場合このヘルプを参考してください。“回答を投稿”をクリックすることで利用規約、プライバシーポリシー、及びクッキーポリシーに同意したものとみなされます。タグが付いた他の質問を参照するか、自分で質問をする。会を開催します🎉サイトの未翻訳箇所を見つけて、もくもく会で直しましょう関連する質問1goutteを使ったスクレイピング0Pythonで検索エンジンから画像スクレイピング2Python3でwebスクレイピングしたいのですが存在するURLが開けません。営業時間の取得0scheduleで実行時間を自動化し、スクレイピング0Google検索結果のスクレイピングができない。質問のフィードこのRSSフィードを購読するには、このURLをコピーしてRSSリーダーに貼り付けてください。