Webページにある株価データをDataSpiderでまとめてCSVファイルに出力します。吉野さんよりご提供いただきました。ありがとうございます。運営する株価・為替の総合情報サイトです。このサイトでは銘柄と期間を指定して株価データをデイリー、週間、月間で参照できます。DataSpiderを使って株価データをまとめて取得、さらに複数の銘柄を一気に取得するスクリプトをご紹介します。全体のスクリプトはこんな感じです。ウェブからXMLでデータを取得。XML→CSVへ変換・出力という処理を各銘柄のページ数分行います。詳細説明それでは詳しく中身を見てみましょう。スクリプト変数として用意してます。銘柄一覧読み取り(Excel)東証サイトからダウンロードした上場企業リスト(first-d-j.xls)から、証券コードを取得します。証券コードの件数分、処理を繰り返す指定(Loop/foreach)をします。ページ数分Loopまたページ数だけ処理を繰り返すため、ページ数分のLoop指定をします。ページ数はパラメータで指定する期間によって変化するので、読み取りたいページ数を確認しておきます。今回は2014年1月1日~2014年12月31日の1年分を取得します。ページ数を確認すると13ページまであるので、13回繰り返します。Webアダプタ「巡回(ファイル/パラメータ)」Webページにパラメータを渡して、取得したデータをファイルに書き込みます。元コンポーネントのデータモデルはXML型です。ここでパラメータの指定をします。証券コードで銘柄を、また取得する期間を指定できます。:80XML→Mapping→CSVXMLの株価テーブル部分をCSVへ変換、出力します。株価テーブルのみCSVへ出力します。ページの区切りごとに空データが取得されるので、条件をかけて省略します。※条件:日付に「年」を含むいざ実行!早速、実行してみましょう。期間:2014年1月1日~2014年12月31日(ページ数:13)ターム:デイリーぐるぐるループ中...。!ムムッ、ここでエラーです。Webページにアクセスしすぎたらしくはじかれちゃいました。読み取る銘柄が1878件もあってデイリーデータを取得しようとしているので、...当たり前ですね。仕方がありませんので、銘柄1件の株価データを取得してみます。Webから読み取れることが伝われば...伝わりさえすれば!!いざ!!さすがに成功しました。出力先CSVはこんな感じです。1年分ばっちり書けております。読み取る銘柄を1つでのテストとなりました。解決策としては、待機アイコンを使って時間をかけて処理を行うことで、アクセス集中を緩和することができます。読み取る銘柄を選択できるだけでなく、出力形式をデイリー・週間・月間に変更するなど出力するデータのカスタマイズも可能です。好きな形式で出力し管理を行えます。皆様も身近なデータを使ってWebデータ取得・出力を試してみてはいかがでしょうか。レッツ!データ連携!です。コミュニティを開くコメントログインしてコメントを残してください。このセクションの記事DataSpiderと接続実績のある製品のご紹介オンプレミス型AI-OCR「AIRead」と連携してみた。