Serviceを読んで理解し、同意したものとみなします。スタック・オーバーフローはプログラマーとプログラミングに熱心な人のためのQ&Aサイトです。286件0Pythonでairbnbのサイトをスクレイピングしようとしています。PCを閉じていても定期的に動くようにしたいので、スクレイピングの処理をクラウド上で、できれば並列化して行いたいと考えております。(スクレイピング自体のコードはできています)おすすめの方法などありましたら教えて頂けると有難いです。票0クラウド環境という制約の元、簡単にまとめてみました。仮想サーバ(VPS、EC2、GCEなど)内で定期実行する方法cronを利用し、定期的にスクリプトを起動するcronとはジョブを定期的に実行するデーモンで、分単位で実行タイミングを指定することができます。ArchWikiアプリケーションを常時起動しつつ、定期的に取得処理を動かすPythonだとscheduleというライブラリが便利です。この方式の場合アプリケーションが予定外の終了をした場合の対応が必要です。documentationこれらの方式は伝統的であり、ドキュメントも多いですが、サーバを常時起動するコストや、サーバ自体の監視・メンテナンスコストが発生します。そこで、近年は以下の方式がより主流になりつつあります。Functionsで関数を登録し、cronのように定期実行することができます。この場合、並列化したい関数(以下関数A)と、並列化したい関数を呼び出す関数(以下関数B)を登録しておいて、関数Bを定期実行し、そこから別途関数Aを呼び出すような形式になるかと存じます。Cloudただし、こちらの方式はローカルにデータを保存出来ないため、データ保存先を別途用意する必要があります。FaaSの流儀に従ったコードを書く必要もあります(関数名や、実行時間に制限がある)。どちらを選ぶかは要件に合わせて選択してください。個の銅バッジありがとうございます!正直、具体的な手順まで理解できていませんが、教えていただいた情報を基に色々試してみようと思います。|回答スタック・オーバーフローに参加してくれて、ありがとうございます!質問の回答を共有してください。回答を説明し、自分の検討結果も共有してください。意見を述べること(意見を述べるなら、参照リソース、自分の経験で意見をサポートしてください)さらにサポートが必要な場合このヘルプを参考してください。“回答を投稿”をクリックすることで利用規約、プライバシーポリシー、及びクッキーポリシーに同意したものとみなされます。タグが付いた他の質問を参照するか、自分で質問をする。開催しました!🎉コメントで回答する理由を教えてください関連する質問2Python3でwebスクレイピングしたいのですが存在するURLが開けません。複数のURLが記載されたCSVファイルから、順にURLを取得してタイトルなどをスクレイピングする方法0Google検索結果のスクレイピングができない。質問のフィードこのRSSフィードを購読するには、このURLをコピーしてRSSリーダーに貼り付けてください。