ブログヤフーニュースへの掲載方法については過去のブログでも記載しましたが、実際に自社関連のニュースが掲載された際、ユーザーコメントをしっかりと把握・分析できているでしょうか。サイト内で公式口コミが発生するニュースキュレーションメディアは、現時点ではヤフーニュースとNewsPicksのみとなり、この2メディアで発生した口コミは貴重なマーケティングデータとなります。Content)の取得・分析です。ヤフートップページに掲載される「ヤフートピックス」に掲載された場合、ニュース閲覧と共に大量のコメントが付くケースが多く、ニュース内容についての反応がリアルにつかめるので、こうしたデータをしっかりと取得してマーケティングに活かしていきましょう。※朝日新聞デジタルなど、一部コメントが元々付けられないヤフーニュースもあります。数件のコメントであれば目視してコピペ保存も良いですが、数が多くなるととても面倒です。した時に役立つのが「スクレイピング」です。スクレイピングとは、普段人間がアナログで行っているWEBサイトの閲覧行動を、プログラミングで自動化して行うことで、ニュースサイトの情報を集めたり、ビッグデータ解析の際の元データを収集するなど、非常に効率的に情報収集を行うことができます。このスクレイピングをヤフーニュースにも適応することで、何千というコメントを自動で取得することができます。スクレイピングを実施する方法スクレイピングを実施する方法としては、主に2種類挙げられます。1スクレイピングサービスを活用するスクレイピングはマクロなどと同様、実行プログラムの作成が必要となりますが、import.ioなどのスクレイピングツールを使えば、プログラミングを書くことなく、WEBサイトを情報を取得することができます。したWEB上のサービスは設定さえしてしまえば、PCを閉じているときでもデータを取得できる一方、日本語に対応していないサービスも多く、有料サービスとなる場合が多いです。※import.ioは最近価格変更があったようで、現在は1,000件までは無料で、それ以上のデータ取得に関しては個別見積もりとなるようです。Import.io2プログラムを組んで実装する最も基本となるのがプログラミングを組んで実施する方法です。近年では無料で使える様々なライブラリが登場し、短いコードを書くだけで簡単にスクレイピングができるようになりました。Pythonなどのプログラミング言語は、分かりやすい短いコードで習得もしやすく、機械学習などの便利なライブラリも非常に多いので、これからのマーケターの必須ツールとも言われています。Seleniumでヤフーニュースコメントを抽出ここからはプログラミングで実際のヤフーニュースのコメントを元データとして、Pythonを使ったスクレイピングを行っていきたいと思います。日産自動車の前会長カルロス・ゴーン被告(65)がレバノンに逃走した事件で、弁護人の弘中惇一郎弁護士は4日、取材に応じ、弁護団が辞任を検討していることを明らかにした。Yahoo!ニュース上記のゴーン被告についてのヤフーニュースには現在5,000件以上のコメントが付いています。このニュースを元に、スクレイピングツールの一つであるSeleniumを活用して、コメントを自動で取得する方法を解説してみたいと思います。上での環境を想定しています。Pythonを起動させ、ライブラリのSeleniumをインポートし、Chromeを指定ブラウザに設定します。webdriver.Chrome()そして情報を格納する6個の空リストを作り、そちらに取得した情報を追加していきます。disagrees.append(disagree)ヤフーニュースは10件のコメントごとに末尾のURLの数字が1ずつ変化します。ターゲット記事の「全てのコメントを読む」をクリックし、2ページ目以降のページナンバーをクリックして、末尾の数字だけが変わる基本URLを取得しましょう。基本URLとなります。最終ページ数は目視で確認する必要があり、開始ページと終了ページを手動で設定します。ここでは開始ページとして1をstartに、終了ページとして500(リスト形式なので実際は499となる)をendに代入しています。このプログラムでは、for文でformat関数でURLの末尾を1~500まで代入し、さらにrootタグで囲まれたクラスをそれぞれのページで10ユーザーごとに繰り返し取得する内容となっています。ヤフーニュースのコメント欄をスクレイピングする際の注意事項コメント欄にはiframeというフレームが使われているので、通常のスクレイピングコードとは多少異なります。iframe内を取得するために下記2行を追加しています。driver.find_element_by_class_name("news-comment-plguin-iframe")driver.switch_to.frame(iframe)またhtmlのクラス名などは環境によって異なるようなので、Seleniumで開いたブラウザーから確認するとよいかと思います。取得したデータはPython上でひと目で把握することができるほか、csv等で出力も可能です。下記は実際に取得したデータです。上記のコードでgood数やbad数なども取得することができ、5,000件以上のデータであっても、サクサク簡単に確認することができます。※実際にスクレイピングにかかった時間は5,000件のデータで1時間ほどでした。取得したデータはPython上で様々な視点から分析できるほか、下記のように形容詞を抽出してワードクラウドにかければ、コメント傾向をビジュアル的に掴むこともできます。このニュースでは憤慨しているユーザーが多いことが分かります。ちなみにヤフーニュースは意外にも、40代・50代がボリュームゾーンになるため、コメントもそうした年齢傾向やバイアスがかかっている点に留意しておいたほうが良いかと思います。以上、Pythonを使ったヤフーニュースコメントの取得方法でした。Pythonなどのプログラミングを学習する際は、書籍よりも下記のUdemyなどの動画で学ぶのが最適かと思います。下記の講座を見れば上記コーディングは一通りできると思います。広報やマーケティング担当はもちろんのこと、プログラミングは全てのビジネスパーソンの業務効率を大幅に改善します。令和時代はプログラミングを駆使して、効率的に情報分析・データ収集をしていきましょう。Seleniumを用いて、自動ログイン、テキストの抽出、画像データの収集を行ってみよう。データの収集方法を学ぶことで、定期的なデータ収集を効率良く行うことができます。1万件のヤフートピックスのデータから、傾向と対策、サイトの仕組みなどに迫ってみたいと思います。月間50億PVと言われているヤフーニュース。そのヤフーニュースはどのように作られているのでしょうか。要約AIはヤフートピックスの夢を見るか~ディープラーニングを用いた令和時代のプレスリリースの作り方~2020-02-14朝日新聞の記事データをもとに開発されたという、ディープラーニングを活用した自動要約生成APIをご紹介します。【広報担当者向け】複数のWEBニュースを自動キャプチャする方法【働き方改革】2020-02-01Pythonを使って複数のWEBニュースの掲載記事を自動キャプチャする方法を解析します。テレ東】2020-01-192019年にワールドビジネスサテライトで放映されたニュースの傾向を見える化し、その傾向を探っていきたいと思います。NewsPicksのコメントをスクレイピングで自動取得する方法2020-01-15NewsPicksのコメント欄をプログラミングで自動で取得する方法を解説します。ヤフーニュースのコメントをスクレイピングで自動取得する方法2020-01-06プログラミングを活用してヤフーニュースのコメントを自動取得する方法を解説します。1万件のヤフートピックスを分析して分かった傾向と対策2019-07-171万件のヤフートピックスのデータから、傾向と対策、サイトの仕組みなどに迫ってみたいと思います。12345...>>>広報・PRやプレスリリースまわりでお困りのことはございませんか?多数の企業サポートを行ってきた当社が解決いたします。お気軽にお問合せください。Reserved.この内容で送信します。よろしいですか?キャンセル。