Smartphonemoriyoshiの日記この広告は、90日以上更新していないブログに表示しています。scrapingこんにちは、SQLを愛してやまないmoriyoshiです。ストアドプロシージャは、一連のSQL文をサブルーチンのようにDBサーバに記録しておき、後からそれを呼び出すことができるようにする仕組みです。近代的なRDBMSには標準的に備わっている機能といえます。制御構造などもSQL文で記述することができるので、結果的に、あらゆるロジックをSQLのみで記述することができます。手続き型プログラミングにどっぷり浸かった現場の方から愛用されていると言われています。今回は、ストアドプロシージャの応用として、Webスクレイピングを行なってみましょう。取得、解析し、必要な情報を取り出すという一連の操作を自動化することです。Webスクレイピングを効果的に活用すると、人間がブラウザに向かって単純作業を繰り返す必要がなくなり、労働生産性を向上することができます。図書館の蔵書データを、スクレイピングしよう!ここでは、例として、図書館の蔵書データを検索し、テーブルに格納するというストアドプロシージャを書いてみましょう。インストールされているものとして話を進めます。モジュールをインストールするMySQLは、本来Webスクレイピングのために造られているわけではありませんので、指定されたURLにアクセスして内容を取得する関数や、HTMLを解析する関数などを標準で持ってはいません。functions)という仕組みがあり、任意の関数をプラグインという形で、後から追加することができます。mysql-udf-curlのインストールmysql-udf-curlは、次のような関数をMySQLに追加するモジュールです。])URLで指定された場所にアクセスし、内容を文字列として返します。文字列)リクエストにあたって、オプションを設定します。autoconf、automake、libtool、gitコマンドとcURLライブラリをインストールします。libcurl3-dev)http://github.com/moriyoshi/mysql-udf-curl.gitよりgitコマンドでソースコードを取得します。ソースコードが格納されたディレクトリに移動します。