/var/www/yatta47.log/var/www/yatta47.logスマートフォン用の表示で見る/var/www/yatta47.logやったのログ置場です。スクラップみたいな短編が多いかと。はてなブログの記事一覧のURLを取得する2019-08-04はてなブログの記事一覧のURLを取得するlinuxはてなブログの記事一覧URLを取得します。調べるとPythonを使ってAPIたたいたり、GoogleAppScriptでスクレイピングしたりする方法が多いですが、Linuxのコマンドで実施します。URLのもとは、エクスポートしたファイルを利用します。ファイルの中身を確認エクスポートしたファイルの中身(このサイトの場合はyatta47.hateblo.jp.export.txt)を見てみると、こんな構造になっています。https://images-fe.ssl-images-amazon.com/images/I/51H2%2BUmoGvL._SL160_.jpg-----BODY:<p>個人で使っているAzureの管理ポータルにログインしたところ、何かが変わったようで、メニューが英語になっていました。itemprop="image"></span></p>:::BASENAMEにURL・・・というかパスが入っているので、そこをgrepで取り出します。コマンドラインは以下。"https://yatta47.hateblo.jp/entry/"$2}'ちょっと補足。grepでBASENAMEの行を取り出します。その中で2列目のデータが欲しいのでawkで2列目を指定します。URL先頭がないので、それを手動で付け加えてあげてます。こんな感じになります。"https://yatta47.hateblo.jp/entry/"$2}'https://yatta47.hateblo.jp/entry/2019/08/03/230501https://yatta47.hateblo.jp/entry/2019/07/21/124039https://yatta47.hateblo.jp/entry/2019/07/18/200000https://yatta47.hateblo.jp/entry/2019/07/20/221043https://yatta47.hateblo.jp/entry/2019/07/19/090000https://yatta47.hateblo.jp/entry/2019/07/20/134321https://yatta47.hateblo.jp/entry/2019/07/01/204357まとめ簡単に取れるかなーと思っていたらPythonとかRubyとかプログラミングする記事が多かったので、もっとシンプルな方法がないかなーと思って結局Linuxコマンドラインにたどり着きました。このあとはこのURLを使って、GoogleAppsScriptを使ってタイトル一覧を取得してみようと思います。日)今度はいつまで続くか・・・・書く癖をつけるために続けます。自分がほしいな〜って思ったものを作ったり、同じものがあればそれを紹介したりしています。当ブログはAmazon.co.jpアソシエイトプログラムに参加しており、記事中の商品画像はほぼアソシエイトリンクとなりますのでご了承ください。yatta47はてなブログをはじめよう!yatta47さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。