参加させていただいています。AWS上にサーバレスな汎用クローラを展開するぞ。--happyou.infoでは、中国政府のサイトをスクレイピングしています。今回はその中でも中国政府の大使館や領事館のウェブサイトの更新情報を検出しRSS化しましたので公開したいと思います。中国大使館のスクレイピングを行うのか?1.意味があるため中国政府が対外的に発信する情報を網羅的に収集することには社会的に意味があると考えらるため。2.ウェブサイトがマシンリーダブルでないため中国政府のウェブサイトはマシンリーダブルでないため。RSSはなく、TwitterやFacebookの利用も体系的には行われていないため。3.happyou.infoが得意な分野であるためたとえば、日本の東京にある中国大使館のサイトは、アメリカのワシントンにある中国大使館のサイトとはデザインが異なります。言語別にわけると約500近くあります。これらのサイトを手作業でスクレイピングするのは大変ですが、happyou.infoは全て自動で収集することが出来るためです。*1---これが入力元のサイト一覧です。Overseasそして、これが現時点でのスクレイピングの結果です。言語については生成していません。中国の外交部(日本の外務省に相当する)のプレスリリースがそのまま書き写されています。中国本国のリリースを中国語と現地の公用語で発信しているコピペです。残りは2国間関係のニュース、大使の講演や発言、中国関連のイベントの告知など。継続して収集しているのでわかるのですが、2016年の7月あたりを最後に、南シナ海に関する情報発信を発信を止めちゃったようです。在北朝鮮大使館の英語版のサイトの更新が止まっていて物悲しい。私は読めないけれど韓国語版も止まってる。仕事しろ同盟国じゃろ...一つ一つのニュースはあまり面白くなく、とても意味があるとは思えません。これらを蓄積して分類しアーカイブ化すると価値が生まれることを知っています。中国政府のスクレイピングで、クローラの多言語化にかなり対応できたのではないかと考えています。今回の成果をもとに去年失敗したNASDAQ全銘柄スクレイピングにもう一度挑戦してみるつもりです。*1:少なくとも民間レベルでは他に存在しないと考えています。2016.11.16www.youtube.com非常に勉強になったためブログに残そうと思います。はてなブログProニュース収集サイトhappyou.infoの公式ブログです。国内外のあらゆる企業と組織、団体のニュースを収集します。ザイソフト岡本将吾が運営しています。Textractについて調べたhappyou.infoの新元号対応完了マシンリーダブルな形式に変換するツール/サービス各種サーバを更新しました。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。