Dockerこのブログ、実はhttpのままです。はてなブログをやめるか考えているのですが、いったんhttps対応を進めましょう。とっかかりとしてこのブログの全URLを取得します。やってクローラーにヒントを出しているかです。ご存知の通り、こういう時に使うのがサイトマップです。いうことで、全記事のURL取得は安直にサイトマップから辿ればいいでしょう。pagenation付sitemapindexを取得できます。このブログならこのような感じです。</sitemap></sitemapindex>あとは、各sitemapごとにアクセスして、記事URLを拾うだけです。--></urlset>結果がurl一覧で取れればいい感じに使えそうです。所定のフォーマットに沿っているxmlなので適当に処理します。それぞれで書いてリポジトリにおいておきました。