する質問をすることでしか得られない、回答やアドバイスがある。124やりたいことサイト管理・保守のため自作クローラーを回したいサイトがあります。公開前でベーシック認証がかかっている非同期のページネーションがある上記の2点でウェブサイトエクスプローラーのような既存のクローラーソフトでカバーできない範囲がありました。↓5すべてのページを回遊し、重複のないget_url_aをcsv(sitemap.csv)に書き込む上記のようなプロセスでサイト全体のURLを取得しようと思っています。下記のような要素を盛り込みたいですが、どこで行うのが最適でしょうか。先に流れを考えておきたいのと、有識者の添削があったらありがたいと思い質問してみました。attachmentクリップ0気になる質問をクリップするクリップした質問は、後からいつでもマイページで確認できます。クリップした質問に回答があった際、通知やメールを受け取ることができます。自分も答えを知りたい質問者以外のユーザにも役立つ評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。-評価を下げられる数の上限に達しました評価を下げることができません1日5回まで評価を下げられます1日に1ユーザに対して2回まで評価を下げられます質問の評価を下げるteratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。コメントをしてください。送信する質問の評価を下げる機能の利用条件この機能を利用するためには、以下の事項を行う必要があります。行うのでしょう「別のcsv(external_site.csv)に保存する」は二つ考えがあります。評価が高い回答ほどページの上位に表示されます。remove低評価0回答の評価を下げる下記のような回答は推奨されていません。評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。アクセスしたときに先方でリファラーを取得し...受付中Pythonでのスクレイピング時に何も取得できなかった場合の処理をしたいです。頂いたご意見への回答は行っておりません。