)にて、書籍内の図版作成とWebサイト(ランディングページ)作成を担当しました。目次一覧はこちらの著者ブログにありますので、ご興味のある方はぜひご覧ください。電子書籍版も同時発売中です。Python(パイソン)とはPHPやJavaScriptなどと同様、プログラミング言語の一つです。Pythonを書く人のことをPythonista(パイソニスタ)というそうです。ファンタジスタみたいでカッコイイですね。他の言語と何が違うのかはノンプログラマな私には分かりませんが、今、最も年収が高いプログラミング言語がPythonであるというニュースはとても印象に残っています。このPythonistaの需要の高まりの背景には、Pythonが得意とする人工知能(AI)や機械学習のブームがあるようです。新たに習得するとしたら今はPython!そんな時代の潮流を感じています。ここで、書籍のタイトルにもなっているクローリングとスクレイピングについてサラリと紹介しておきます。クローリングとは:Webページ上の情報を取得するためのプログラムをクローラーと呼び、クローラーを使ってデータを収集することをクローリングと呼びます。水泳のクロールは手のひらで水を掻いて進みますが、あの動きで情報を掻き集めているイメージです。スクレイピングは、クローリングで集めた情報から、必要なものだけを抜き出すことです。クローリングでガサッと全部掻き集め、スクレイピングで必要な情報だけをふるいにかけて取り出す感じでしょうか。ノンプログラマにも役立つクローリング技さて、ここまでだとWebデザイナーやWebディレクターには縁遠く見えますが、実はとても役立つ場面があります。Pythonとは直接関係ありませんが、本書の第1章に、便利なコマンドがあったのでご紹介します。サイトリニューアルの見積もり依頼があった時、現行サイトのディレクトリ構成や全体のページ数が必要になります。小規模サイトならリンクを辿って書き出すこともできますが、数十ページ、ましてや数百ページになってくるとかなり面倒ですよね。そんな時にクローリングを使えば、楽に現行サイトの構成を把握することができます。こちらの株式会社はてなで試してみましょう。http://hatenacorp.jp/Wgetというソフトウェアを使ってコンテンツやファイルをダウンロードします。ソフトウェアをインストールしてしまえば、後は手順2からでOKです。いえ、最初の手順は一瞬で終わります。それなりに時間がかかる作業です。サイトまるごと1個分のファイルを保存するだけの空き容量が必要です。OS向けに解説しています。Wgetのインストール(所要時間:2分くらい)まずサーバーからファイルやコンテンツをダウンロードするための準備をします。この手順では、Homebrewというパッケージマネージャーを使い、Wgetというソフトウェアをダウンロードします。「ターミナル」を立ち上げます。(「いきなりターミナル?!」という苦手意識をお持ちの方(私です...)も、簡単なので騙されたと思ってやってみてください。)こちらから以下のスクリプトをターミナルにコピペして実行します。https://raw.githubusercontent.com/Homebrew/install/master/install)"※途中、パソコンのユーザーアカウントのパスワードを求められるので入力してエンターキーを押します。Homebrewがインストールできたら、今度はいよいよWgetをインストールします。wgetと入力してエンター。これでWgetのインストールが完了しました。http://hatenacorp.jp/最後のURLはクロールしたいURLを指定してください。(今回だとhttp://hatenacorp.jp/)wget:wgetの命令だよという合図です。1:再帰的にダウンロードするときに間隔を1秒開ける【相手のサイトに迷惑を掛けないようにマナーとしてつけましょう。–follow-tags=a:aタグのみ辿る、という意味です。(「css」、「file」、「images」、「js」はディレクトリ構造には関係なさそうなので辿らないためです。)wgetにどんなオプションがあるかは以下のコマンドで表示できるので、適宜必要なファイルをダウンロードできるように調整してください。--help1ファイル1秒間隔でダウンロードするので、サイトの規模によっては数十分、数時間かかる場合もあります。今回の例ですと13分ほどかかりました。(私はこの作業中にご飯を食べました。)※この時、パソコンがスリープモードになるとダウンロードが止まってしまうことがありました。ダウンロード中はスリープモードが起動しないように設定しておくとよいでしょう。途中で辞めたい場合は、control+cを押してください。取得できたファイルリストがこちらです。20sターミナルの処理の最後を見ると、トータル13分でダウンロードできたようです。3.樹形図にしてみる(所要時間:2分くらい)treeコマンドを使えば、サイト全体の構造を樹形図にすることができます。treeコマンドが使えるようにインストールしましょう。treeと入力してエンターキーを押してください。hatenacorp.jp/と入力してエンターします。tree:樹形図にするコマンドです。2:表示するディレクトリの深さを指定します。この場合、2階層分を表示します。すると、一瞬でこのような結果が得られました。files最後にディレクトリとファイルの総数も分かります。--helpと入力すると一覧で表示されます。終わりに一度設定しておけばいつでもコマンド一つでサイト一式をダウンロードできるのがいいですね。「どんな構造のサイトなのか」を知る勉強目的でも使えると思います。今回はPython関係なくクローリングする方法をご紹介しましたが、もっと色々試してみたくなった方は、ぜひ書籍をお買い求めください。広告Web・グラフィックデザイナー、マークアップエンジニア。関西在住のフリーランス。Edition運営中。【2019年振り返り】メニエール病で仕事ができなくなったフリーランスWebデザイナーの話こんにちは。Webookerです。マンガnoteとInstagramで育児4コマはじめました。Webデザイン4月26日までセール中!UdemyでフリーランスWebデザイナーの私が購入した講座一覧Udemyはオンラインで講義を受講できるWebサービスです。続きを読む...RSSリーダーで購読するWebookerはAmazon.co.jpアソシエイトに参加しています。