it以前に実施したscrapy-splashでの応用編となります。その3)https://colabmix.co.jp/tech-blog/scrapy-splash3/今回はJavascriptでクリックをした後のデータを取得します。Scrapyからのサンプルファイルの取得(事前確認)今回、ファイルの取得は以下のサイトから行います。https://colabmix.co.jp/sample/sample2.htmlファイルの中身は以下のようになっています。id="add">add</a></div></body></html>表示される画面はこちらです。JavaScriptで「add」のリンクをクリックするとリストの要素と番号が追加されていきます。Splashを使ったScrapyの実行Scrapyで値の取得を試してみます。以下は「items.py」の設定です。scrapy.Field()そして、spider本体である「spiders/devcolla.py」の設定です。itemJavaScriptの実行ではLuaScrirptという言語を利用しています。=」の部分でLuaScrirptの定義をしています。forループで15回ループを回しています。増加量」の書式で記載します。そのforループの中でクリックを行い、0.1秒待ってから次のループ処理に進んでいます。こちらで、15回クリックを行なった状態で結果の表示をしています。それでは、こちらを実行して結果を表示してみます。result.csvtext1234567891011121314151617最初に2つ表示されていて15回追加したので、17までリストの値はあります。結果は無事取得できました。最近ではRESTfulなWebサービスも増えており、データの取得にJavaScriptを利用する機会も多くなっています。scrapy-splashではデータの多様な取得が可能になります。その4)このブログは株式会社CoLabMixによる技術ブログです。GCP、AWSなどでのインフラ構築・運用や、クローリング・分析・検索などを主体とした開発を行なっています。RailsやDjango、Pythonなどの開発依頼などお気軽にお声がけください。開発パートナーを増やしたいという企業と積極的に繋がっていきたいです。