始まりは16時24分32秒からスマートフォン用の表示で見る始まりは16時24分32秒からこの広告は、90日以上更新していないブログに表示しています。プログラミングここ半年。スクレイピングばかりしている。自分には全体を眺めたいという欲求が少しだけ潜在している気がする。全体を眺めて何をするわけでもないんだけど、俯瞰された「何か」を見ていると、リラックス出来る。そこには「発見」があるのかもしれない。トレンドだったり、一貫しているものだったり、意図だったり、生活感だったり、Googleで検索クエリーを組み合わせる探索とは、少し違う。それらをスクレイピングで満たしている。プログラムが情報の海原を生み出し続け、スクロールバーで泳ぎ、自分の日常生活に何らかの変化をもたらしてくれるもの面白い。はてなを掘る(Rubyに関して、はてぶが3つ以上付いた、2016年〜2005年までを1ページで見れるようになっている)良質なスクレイピングスポットを発見して、そこを掘り続けるのが楽しい。個人的な良質スクレイピングスポットは「はてな」だ。質の良い情報アウトプットされやすいのか、スクレイピングしていて、興味深い情報が多い。コーヒーを飲んでいる最中に、RubyやPerlで書いた100行から200行程の小さなスクリプトが、はてなブログ、はてなブックマークを掘り続けてくれる。外からスマホでデータにアクセスする。Dropboxスクレイピングしたデータをスマホでアクセス出来るようにしとくと便利だ。その時やっていることは、スクレイピングしてきたデータを静的HTMLとしてDropboxに出力するということだ。今回はRubyで書いた。静的HTMLをDropboxに生成しているところのコードを載せてみる。output_html)ヒアドキュメントにHTMLを直書きして、表示させたいデータを式展開でヒアドキュメントの中に埋め込み、File.writeでDropboxのフォルダの中に.htmlファイルを出力している。今回は、data_listにスクレイピングしたデータを入れている。最後に不思議と、スクレイピングはプログラミングの学習にも繋がり、最近使い始めたRubyも書けるようになってきた。これもスクレイピングをすることの恩恵なのかもしれない。プログラミングを覚えるきっかけとしてスクレイピングは効果的だと思うのでおすすめしておきたい。20:09スマホからスクレイピングしてきたデータを見れるようにしたら便利だったTweet広告を非表示にするもっと読むコメントを書く2016-04-10はてなブログの新着エントリーを10件から500件に増やしてたのを作ってみたPerl新着エントリーが10件表示だったので、500件表示にしてみた。ブログ探しに使ってみてください。新着500件テック系ブログを探すのに丁度良い僕はテックエントリーが大好きで、自分の知らない領域の技術について読んだり、ライフハック的な技術の使い方を淡々と記録している日記を読んだりします。新着エントリーを眺めるより、テック系ブログを見つける。目的を持ちながら使うとかなり見つかります。本書のなかで、WAF使おうぜWAFと書いてあった。そんで、Mojoliciousがおすすめと書いてあったので、その通りにMojoliciousで作った。自分の使っているのはMojolicious::Liteだけど十分ウェブプログラミングが楽しめる。最初はローカル環境で作ってから、本番環境で動かせるようにした。本書はPerlビギナー向けに書かれている本で、CPANの解説も豊富だし、なによりPerl書きたい!ってなる良い本です。22:16はてなブログの新着エントリーを10件から500件に増やしてたのを作ってみたTweet広告を非表示にするもっと読むコメントを書く2016-03-06最近買ったPerlの本Perl小さいPerlプログラムを書くのが楽しくて、自分にとって有益そうな小さな案が浮かんだら小さなプログラムでも書いてしまいたくなる。Perlを便利に使いこなせるようになるために2冊程本を買ってみた。中古で買ったので合計で1300円程だった気がする。Perlの本は古い本が多いので、全体的に安い印象。見る本のタイトル通り。CPANモジュールが沢山掲載されている。この本の元ネタとなっているメルマガが、ウェブに少しだけ掲載されていて、最初はここを眺めていた。本の方では、400ページ以上CPANモジュールの解説があって、素直に驚いた。見る標準関数が沢山掲載されている。古い本なんだけどPerlビギナーの自分にとっては役に立つ。2冊とも、眺めてるだけでも有益かもしれない。頭の片隅に置いといて、必要な時に詳細を読みこめばいいのかもしれない。リファレンスとして読書できる素敵な2冊だと思いました。14:40最近買ったPerlの本Tweet広告を非表示にするもっと読むコメントを書く2016-02-17はてなブログを1ページで見れるようにすると結構便利だったPerlphaさんの無職日記を眺めてHPを回復させることが好きです。閲覧するときにはてなブログが生成している月別アーカイブからだと、このような表示になってしまいます。このような表示形式だと過去の日記を快適に見ることが難しいなと思いました。「次のページ」ボタンを連射するのが疲れるからです。月別アーカイブをスクレイピングして、一枚のページにまとめてみました。このような表示形式にしてあげると、1ページで2016年から2003年。ブログ全体を見ることが出来ます。20:34はてなブログを1ページで見れるようにすると結構便利だったTweet広告を非表示にするもっと読むコメントを書く2016-02-07技術評論社の技術書を画像一枚にまとめてみたPerl前回。ブログの記事で取り上げた、技術書出版数ランキングで、一位を獲得した技術評論社の出版している技術書を一枚の画像にまとめてみました。発売日順に左上から右に並べています。17:57技術評論社の技術書を画像一枚にまとめてみたTweet広告を非表示にするもっと読むコメントを書く2016-02-03コンピュータの技術書出版数ランキング(1位~100位)Perlコンピュータの技術書を出版している出版社がどれだけ本を出版しているのか気になったので調べてみました。データはAmazonの出版社一覧から手に入れてるので、ランキングに正しさがあるのかは分かりません。ある程度の傾向は掴めると思います。海文堂113冊データとプログラムAmazonの出版社一覧を参考にします。(出版社一覧にオライリー・ジャパンがなかったので、ココを参考にしました)データを取ってきました。データがソートされて並んでいません。使い捨てプログラムですが、ソートしてくれました。File::Slurpモジュールを使用しました。read_fileを使うことで、一行でテキストファイルを配列データに変換してくれて便利でした。使用モジュールはMechanizeとTreeBuilderです。Mechanizeで1ページから5ページまでのHTMLを取得しています。あと後TreeBuilderでHTMLを解析して、お目当ての情報(順位とタイトル)を取得しています。LWPでアマゾンのエロ本ランキングを取得すると年齢認証ページに飛ばされてしいます。MechanizeがAgentだと、年齢認証ページに飛ばされず、そのままランキングページにアクセスできます。Mechanizeを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。