真っ先に候補に上がりますよね。見てみるとやはり「Scrapy」が一番人気っぽいです。いろいろなサービスを使ってお手軽データ分析をしてみたいと考えています。格納するところまでを試してみます。試しに、http://www3.boj.or.jp/market/jp/stat/jx170301.htmをスクレイピングしてみます。サポート外)なので、3系でも特に変わりはないはずです。前提条件ローカル環境は以下の通りです。コマンドを実行して、プロジェクトのひな形を作成します。クラスは、スクレイピングしたデータを入れるための箱になります。ひな形を以下のように修正します。CSS要素を特定するのに便利です。返されるので非常に使い勝手がよいです。HTMLタグが含まれた状態で値が取れてしまうので、これも必須のテクでしょう。Spider名(今回の例では「boj」)を指定します。オプションで出力するファイル名を指定することができます。オプションの方が優先されるようです)。インスタンス変数名を「FEED_URI」のプレースホルダとして使うことも可能です。格納するのも簡単です。'XXXXX'とすればよいです。任意の引数を渡すことができます。メソッド内で引数を受け取ることができます。メソッドが実行される前にインスタンス変数の値を書き換えておくことが可能です。日付を範囲指定してクローリングするなら、例えば以下のようなシェルを作成すればよいでしょう。?などと設定しておきましょう。スクレイピングを試してみました。実際使ってみて、仕組み(どこを触ればいいか)さえ分かってしまえば、実装部分も少なくて非常に便利に使えることが実感できました。使ってデータ分析していきたいと考えています。