2018年8月1日SHAREツイートシェアはてブLINEPocketランチで行列に並ぶぐらいならこれやりましょう!10分でできるシリーズ!今回はWEB上の情報を取ってくるWEBスクレイピングです。通常スクレイピングはpythonなどプログラミング言語を使ってするのですが、プログラミングなんてできねーよ!って人でも簡単にできる方法を紹介します。営業がスクレイピングをするモチベーションスクレイピングなんて聞いたことないし。いう営業は多いと思います。私自身もそんな言葉すら知らず、そんな技術があることも必要だと思ったこともありませんでした。そもそもスクレイピングとはWEB上の情報を引っ張ってくることです。Yahoo!ニュースから毎日TOPニュースをコピペして保存したり、価格comから特定の商品の口コミを探してきてコピペする、といったことを人の代わりにプログラムがやってくれるのです。営業としてこれができると何がいいのでしょうか?汎用性は非常に多く、スクレイピングだけで営業ツールとして販売している事業会社もあるほどですが、個人的には以下のような使い方が有効でした。自社メディアと他社メディアの違いを全タイトルを抽出し図式化することで、デモグラや規模感といったユーザー属性以外にメディアの”色””編集部の特性”を具体的に説明できる競合サイトの記事広告出稿状況をPRマークの抽出から把握する技術先攻ではできることは数多くあり、SNSから情報を引っ張ることも可能です。技術云々よりもどう有効に使えるものにするかが大事です。上記で挙げた例は実際に僕がやってきたことで、記事広告のような感覚値の強いクリエイティブの広告を実施する時、クライアントと意見が合わないことが多々あります。その際にファクトとして他メディアとの違いからそのメディアの特性を説明する、PVの高い記事とそうでない記事との違いを説明するといったことが上記からできれば、お互いに時間を無駄にせず、納得感のある提案や納品ができます。競合の出稿状況がわかれば、以外な出稿主に気づくこともあったり、共同で施策を実施したりすることもできます。この記事でできるようになることこの記事ではスクレイピングはスクレイピングでも、Googleスプレッドシートを使った、”なんちゃってスクレイピング”を紹介します。<できるようになること>Googleスプレッドシート”なんちゃってスクレイピング”が使えるようになるプログラミング言語を使ったスクレイピングでも応用できるXpathを理解できるスクレイピングをどう営業に活かすかのイメージができるようになる今回はコピペできるものとして、『即効!切り口提案クン』を用意しました。広告の提案では、料金・KPI以外にも制作物のイメージとして切り口(方向性)を提案することが多々あり、特にイメージのつきにくいニッチメディアであれば、この重要性は増してきます。いうことで『即効!切り口提案クン』には、キーワードを入れると類似サイト4つから関連するタイトルを引っ張ってくるという機能設計にしました。完成図を見てみましょう。コードはこちらを参照このシートでは「ファミリー」に対して広告を打ちたいという内容を想定していますが、例えば「料理」や「商品名」なんかでももちろんOK。編集部の人や、仕事になれた人なら不要かもしれませんが、入社年次が浅い人もこれで即効!切り口出し!ができますよ。作り方はめちゃくちゃ簡単!好きなセルにIMPORTXML関数を入れるだけです。IMPORTXML関数は、前半の引数で指定したURLの中で、後半に指定したXpathの中身を取ってきてくれる関数です。今回の場合はこのようになります。1まずキーワードの入力セルを作ります。今回で言えばA2セルです。Chromeのブラウザでアクセスします。3今回はキーワードに関連する記事として、サイトの検索機能を使うので、何かしら検索してみます。“に検索した文字列になっているはずです。これは閲覧者が入れた文字列をサイト側に投げている状態です。4そのURLをコピペしてIMPORTXML関数の前半に””(ダブルクオーテーション)をつけて入れましょう。ここで注意なのが、セルの”A2”という文字列をURLに指定したいわけではなく、その中に入っている文字列を渡したいので、&でつなげます。&やA2は文字列ではないので””はいりません。5後半にXpathを指定します。そのためには先程のサイトに戻り、右クリック→検証とします。すると右にごちゃごちゃした画面が表示されますので、その一番左上、マウスが乗っかっってるような左上のボタンをクリックします。するとサイトのHTML要素を直接選べるようになりますので、タイトルのところにマウスを持っていきましょう。このようになったらまた右クリックを押して、下の図のようにCopy→CopyXPathとしてください。これでクリップボードにタイトルのXpathが入っています。6これを先程のIMPORTXML関数の後半に入れてください。7もしうまくいかない場合は、このページを参考にXpathを自分で修正してみましょう。チートシートこれで完了です!自分の取得したいサイトが複数ある場合はそれぞれ行ってください。この記事も合わせて読むと理解が深まると思います。SpreadSheetでスクレイピング。Importxml他、便利な関数9+1注意すること今回はGoogleスプレッドシートを使った”なんちゃってスクレイピング”を紹介しましたが、本格的にスクレイピングをする場合、アクセスする回数や時間、スクレイピングしてはいけないページがあったりします。注意事項」なんかでググって見ておいた方がいいでしょう。「.robots.txt」とurlの最後に入力するとスクレイピングのNGページが見られます。今回の完成品のように、Xpathの内容によっていらない情報が時々入ります。細かい設定をXpathでやるか、cssセレクターという別の指定方法もあるので、そちらも試してみるといいかもしれません。別の機会に、このように取ってきた情報をどう使うかについてはこちらもご参考に。1ヵ月で受かった勉強法。おすすめテキストと出題内容も。コメントをキャンセルメールアドレスが公開されることはありません。*サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。PostsiCal形式のURLを使わずに、GoogleカレンダーとOutlookカレンダーを同期する。定期的な予定は表示されない。/ターンド・ケイ」がかなりよかったのでレビューしてみる。気になる効果は?花粉症の対策にもなるのか。