Lambdaは様々なリソースの制限(例えば900秒を超える処理は実行できない等)があるため、スクレイピング処理をうまく動作させるために一苦労しました。これらの制限をクリアできる処理を動作させることに限定するという条件ではありますが、そこそこ使いやすいスクレイピング環境ができましたのでご紹介します。frameworkについては以下のClassmethodさんの記事が参考になりますので、載せておきます。Frameworkとプラグインを使えばパッケージ管理が簡単!上記の記事にしたがってserverlessのsampleというプロジェクトを作成したという前提で、このプロジェクトにスクレイピングに必要なパッケージ等を追加していきます。この時点でsampleプロジェクト配下は以下のようになっていることを確認します。driverをインストールheadlessのchromeはnpm、pipではインストールできないため、sample配下にbinディレクトリを作成して、その中で手動でダウンロードして展開します。chromedriver.zipスクレイピング用のパッケージをインストール今回はselenium、beautifulSoup4、html5libを使用するので、これらをpipでインストールします。インストールした後は必ずrequirements.txtを更新します。既存のhandler.pyにスクレイピング処理を追加します。selenium、beautifulSoup4はWeb上にサンプルが多数ありますので、細かい部分は省略します。ここでは会員サイトである一覧表を表示し、その一覧をCSVファイルとしてS3にアップする処理を紹介します。post_to_chat("例外が発生しました。上記で追加されたbinディレクトリの定義を追加します。(22行目を追加しました。下記のコマンドでデプロイと実行を行います。--logまとめserverlessは本当にお手軽に処理のデプロイができますし、Lambdaは使用した分だけの課金ですので、用途に合う要件であれば是非利用してみることをおすすめいたします。優秀な技術者と一緒に、好きな場所で働きませんか株式会社もばらぶでは、優秀で意欲に溢れる方を常に求めています。働く場所は自由、働く時間も柔軟に選択可能です。現在、以下の職種を募集中です。ご興味のある方は、リンク先をご参照下さい。採用情報プロジェクトマネージャー(リモート)ソフトウェアエンジニア(リモート)デザイナー(リモート)Subscriptionメールアドレスを記入して購読すれば、更新をメールで受信できます。ThemePacific。