Yahooファイナンスをクロールして株関連データを取得できるライブラリーがある。Brand、Finance、Priceデータが取得できるので、東証一部に絞ってデータを片っ端から取得するコードを書いた。インストールpipを更新してからjsmをインストールする。deleteを用意したMongoDBのラッパーファイル(db.py)を作成する。DB名とCollection名を初期化で指定する。saveはdictのlistをdataとして渡す。coll.drop()前準備クローラーファイル(clawer.py)を作成し、必要なライブラリーと初期設定を行う。上記のdb.pyもインポートしておく。stockデータベースに、Brand、Finance、Priceコレクションを作成して取得したデータを保存する。株価の取得開始日Brandデータを取得get_brand()で全銘柄が取得できるが、取得状況の進捗を見たいのでカテゴリーごとに取得する。pb.update(i+1)Finaceデータを取得Brandデータから東証一部の証券コード(ccode)のみを取得する。ccodes取得した東証一部の証券コードを引数にしてFianceデータを取得する。db.save(lis)Priceデータを取得Financeデータと同様、東証一部の証券コードを引数にしてPriceデータを取得する。crawler.pyを実行すればクロールを開始する。Crawler().main()所感Priceデータを取得するのに15時間ぐらいかかったので、マルチスレッドにした方がいい。データを収集して分析したい人は使えると思う。これまで自作してた人は動かなくなっても改修できると思う。MongoDBで作るRSSリーダーこれまで2回に渡ってReactについて学んできた。GIGAZINEのRSSをDBに保存した。Webアプリなど実装してます。SwiftでiPhoneアプリも作ってます。月別アーカイブはてなブログをはじめよう!Shotoさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。