うめすこんぶスマートフォン用の表示で見るうめすこんぶ日々のプログラミングで残しておきたいメモ.何かの役に立てれば幸いです.この広告は、90日以上更新していないブログに表示しています。スクレイピングシェアするTwitterGoogle+PocketスポンサーリンクWikipediaのデータを使って有名人の出身地一覧を作りたいと思った。Wikipediaは公式ではクローラによるスクレイピングを禁止しているとのこと。Wikipediaその代わり、Wikipediaのダンプデータを入手することができるサイトがあるので、それを使う。ダンプデータはそのままだと検索などで記事ゲットが困難なので、mysqlに入れる。※ダンプデータ自体はmediawiki記法で書かれている。htmlに変換します。そのへんはおいおい書いていきます。※ダンプデータすべてダウンロードすると、2GB強あります。みなさんはこうならないように、mysqlのエンコード設定をやっておきましょう。データベースのデフォルト文字コードをUTF-8に変更する。character-set-serverとcharacter_set_connectionがutf8になっているかチェックしよう。自分の場合、これらがlatinとなっていて文字化けした。なっていなければ設定が必要。以下、mysqlの設定ファイル(my.cnf)で文字コードをutf8に設定する。OSによって場所が違う。自分のOSXでは、/usr/local/mysql/my.cnf。CentOSでは、/etc/my.cnf。管理者権限が必要なのでsudoする。/usr/local/mysql/my.cnf以下のように設定。brewで入れた人はやり方が違うと思われます。Qiitaxml2sqlのインストールまず、Wikipediaのデータをmysqlにいれるために、xmlをsqlに変換するxml2sqlをインストール。ページ本文含めての場合はjawiki-latest-pages-articles.xml.bz2。bzip2で解凍もしておく。※注意として、4分割されたバージョンのファイルもあるけど、あとあと結合が面倒だったりする。jawiki-latest-pages-articles.xml.bz2データを以下コマンドで変換。変換に16分かかった。xml2sqlデータをmysqlに入れるsqlのテーブル定義がmediawikiにあるので入手。mediawiki-1.26.2.tar.gzmysqlがわでWikipedia用のデータベースを作成。mwiki;でデータベースを作成。データベース名をmwikiとした。テーブル定義を入れる。mediawiki-1.26.2/maintenance/tables.sql続いて、データを入れる。これは、かなり時間がかかる。コーヒーを入れて、気長に待とう。revision.txt最後にデータが入っているか確認する。mysqlに入って、以下のコマンドでとりあえず行数を見てみる。mwiki;mwikiのテーブル一覧と、各テーブルの行数が見れる。pageが文字化けしていないか中身チェック。QiitaWikipediaにある表から必要なデータを取り出すまで。俺はそんなにやる気ない終わりに今回は長かった。07:42Wikipediaをスクレイピングするなら、ダンプデータを利用しよう広告を非表示にする関連記事2016-01-09Wikipediaのデータをダンプしてスクレイピングする方法(スクレイピング編)前回、Wikipediaの全ページをダンプする手順を書きました。テクノロジーとサピエンスの未来」を読了しました。AWSソリューションアーキテクトに合格しました。(1)はてなブログをはじめよう!konbu13さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。