userはじめにみなさんスクレイプ���Scrape���という単語はご存知でしょうか���ウェッブページから特定のデータを引っこ抜く作業のことをスクレイピング���Scraping���と呼びます。Interface���というしくみが多いので「なんで今更そんなの必要なの」と思われる方>も多いかもしれません。いった多くの開発者の善意でつくられたプログラムがいろいろなサイトに散らばっていたり、やがてメンテナンスされなくなるのは非常に残念なことです。いうときにScraperWikiの出番です。ScraperWikiとはScraperWikiはイギリスのスタートアップ企業で、スクレイパーコードを共有するサイトを提供しています。Python���を編集、実行することができます。スクレイプを定期的に実行することも可能で、取得されたデータはScraperWikiに保存されますが、ScraperWikiはAPIを用意しているので、このAPIを通して、他のサイトでデータを再利用することが可能です。「Wiki」といっているだけあって、一般公開されているコードは他の人も編集したり、またコードをコピーして他のスクレイピングに利用することもできます。定期的に実>行されているスクレイパーがエラーを起こしていないかをチェックする仕組みがあり「みんなでスクレイピングを管理」するための仕組みがいたるところにあります。ScraperWikiは、もともとイギリスで、どの議員がどの法案に賛成または反対票を投じたかを議会のサイトから創業者の一人が2003年頃にスクレイプしたことを起源に持ちます。現在ではGuardian社といった大手報道機関が企業ロビイストの議会での影響力を調べるのにつかったり、イギリス政府自身がalpha.gov.ukというプロトタイプサ>イトで、各省庁に点在したデータを一元的にアクセスするための仕組みとしてScraperWikiを使っているそうです。ScraperWikiのビジネスモデルですが、一般公開するコードに関しては無料ですが、非公開にしたり、定期的にスクレイプする量などに応じて課金するようになっています。前置きが長くなってきましたが、実際に使ってみましょう。既存のスクレイパーを眺めてみる「ScraperWiki」でGoogle検索すると、すでにScraperWikiを使用している日本人の方がいらっしゃいました。」ここでは衆議院議員のデータをスクレイプするのに使用しています。Japanデータは月一回走るように設定されていたり、複数のcontributorがいるのがわかります。ページの下の方にはスプレッドシート形式でデータを閲覧できるようになっていますが、これだけだと他のサイトで再利用とか難しいですよね。API”ボタンをクリックしてみて下さい。そこのページの最後に以下のようなurlがあると思います。Notation)で返してくれます。RSS,HTMLテーブルといった他の形式にも対応している上sql文をつかってフィルタリングなどをかけることも可能です。‘民主’COPYして独自のスクレイパーを作ってみるブラウザの”バック”ボタンを押して先ほどのページのスプレッドシートの下の方に目を通してい見て下さい。To”という項>目があります。これはこのソースコードがコピーされ、他の用途に利用されていることを示しています。Japan」とあるの>でクリックしてみて下さい。実はこれは私が参議院議員の名簿を抜き出すために作ったスクレイパーです。方は簡単でCopyリンクをクリックするだけです。ログインしていなくてもコピーをとれますが、これを機にアカウントを取得するのをお勧めします。”Edit”ページを開くとその場でコードを編集するためのオンラインエディタが現れます。下にある”Run”ボタンを押すと実際にサイトからデータをとってきている模様が見て取れます。http://www.screenr.com/embed/BgQs以下がオリジナルのコードと私のコードの差異です。衆議院と参議院のページ異なっていたため変更した点はは���つほどありました。エンコーディング���文字の表示形式���がUTFとShift-JISでことなる衆議院のページは複数ページにまたがっているが参議院ページ���ページのみ衆議院のページで議員名は「くん」づけ。参議院のページは芸名と本名の両方が載っている他にもHTMLのページの文法が微妙に違っていたので、XPathという、HTMLに構造的にアクセスするための書式を少し換えました。これらの変更をするのにはある程度のプログラミング知識が必要なのですが。私自身XPathはあまり使ったことがなかったのですが、このもとプログラムを参考にすることで比較的簡単に学習できました。公共機関、メディアや政府機関の中でインターネットを通じた情報公開は進んできていますが、「マッシュアップを前提としたデータの再利用」を考慮したサイトが十分で>ないのが現状です。いった状態に一石と投じるべくScraperWikiは活動しており、ヨーロッパのジャーナリストや政府関係者の間では徐々に認知度があがってきております。現在ScraperWikiでは米国でのワークショップを予定していますが、日本でもワークショップを始めるべく準備をしている所です。興味のある方はコンタクト>ページより気軽にご連絡下さい。