BeautifulSoup以外でのスクレイピングBeautifulSoup以外でのスクレイピング2017.09.12・Cat:開発TweetはじめにPythonにはBeautifulSoupというスクレイピングするのに持って来いなModuleが用意されています。実際使ってみて「もうちょっと使いやすければ、、、」と思った点。DBとの連携時はやはりフレームワークが必要だが、そんな知識は・・・どちらも知識不足、、、と言われると致し方ない。そんなとき「Ruby(実際はmodule)にも似た機能がある」という情報を見つけ早速導入。いざインストール残念ながらRailsのプラグイン管理gemではインストール出来ず。手動にてダウンロードして読み込みます。https://www.crummy.com/software/RubyfulSoup/何やら手動ダウンロードするリンクがあるのでクリック。見ると上のNoteに「もうメンテしませんよ。hpricotというものをオススメします」と。気を取り直してHpricot導入!ググったら一番上に安心のGithubへのリンク。https://github.com/hpricot/hpricotInstallationを読むとgemにも当然対応。いつもの流れでRailsのプロジェクトを作成。‘hpricot’と記述すれば使えます。いざ実装!TopicというModelを作っておきます。Topic次にスクレイピングプログラム。Webでイベントを作るわけでもないので今回はバッチで。""))@topic.saveendendendend文字コードもあまり意識せずにDBへの保存もTopicというテーブルに対してcontentを入れてsaveするだけ。相変わらず簡単(すぎる)Rails可愛いですね。速度面ではやはりPythonのBeautifulSoupには負けっるようです。Rails自体が要するベーススペックがやや高めなので致し方ないとはいえPythonを使い倒せるよう勉強していきます。ProfileOBAランニング、音楽、ヲタトーク、バレーボール好きプログラマーです。数学と英語、台湾華語を勉強中です。投稿一覧SearchRanking1Y!mobileメール(@yahoo.ne.jp)とyahooメール(@yahoo.co.jp)2経費削減!無料で古紙・段ボールを持って行ってくれる業者まとめ3最新AndroidOSをインストール出来るカスタムROMのススメ4知らなかった...CSSでテキストの両端揃えが普通にできた5JavaScriptでCSSを操作する方法6画像のフォントが何かを調べる方法7目標達成用紙(マンダラート)のGoogleスプレッドシートつくりました。