その5)Scrapyでデータの保存先をmongodbにしてみます。mongodbのインストールはこちらから。・CentOS7系でmongodb4.0のインストールscrapyでmongodbを接続するのに便利なライブラリをインストールします。scrapy-mongodb設定は「settings.py」に以下を設定するだけとなります。'items'この設定だけで結果の保存をmongodbに実施してくれます。Scrapyの設定はシンプルに実施しています。itemこちらでscapyを起動します。test無事以下のような行のログが出ています。scrapy-test/items折角なので結果をmongodb側で確認してみます。}無事登録されていました。この状態だと複数のデータを入れてしまうため、URLなどで一意のキーを設定し、ユニークインデックスを設定することでデータの重複などを防ぐこともできます。このブログは株式会社CoLabMixによる技術ブログです。GCP、AWSなどでのインフラ構築・運用や、クローリング・分析・検索などを主体とした開発を行なっています。RailsやDjango、Pythonなどの開発依頼などお気軽にお声がけください。開発パートナーを増やしたいという企業と積極的に繋がっていきたいです。