2017/03/12コピーコンテンツ対策・直リンク対策のまとめコピーコンテンツ対策・直リンク対策の経緯この一連の記事は、当エス技研ブログの全文コピーサイトを発見したことをきっかけに生まれました。対処の方法を試行錯誤し、実際に対処した内容を中心に対処の方法や考え方を解説していきます。実際にサイトを運営することでいろいろなことが学べますね(笑)。Googleはコピーコンテンツ撲滅を目指す他人の記事を簡単にコピーしてコピーコンテンツのサイトを作っている方々がいます。Googleの検索エンジンのアルゴリズムは定期的にアップデートされていて、コピーコンテンツは表示されにくくなっていますが、コピーコンテンツの問題はなくなりません。RSS配信が全文配信となっていますので、余計に全文コピーされやすくなっていることも一つの原因として挙げられるかもしれません。RSSから取得していますので、画像は直リンクのままの場合をよく見かけます。コピーコンテンツを作っている側は、著作権などの問題があることを承知の上でやっている方もいるわけですが、コピーされているサイトを運営している側も、そのサイトから被リンクがある場合は、紹介してもらっているし、被リンクもしてもらっているし...と思って本格的な対応をされない方もいらっしゃいます。実際に何かしらの対応をするのは面倒ですし、技術的なスキルを必要とする場合もありますからね。最近はキュレーションメディアが花盛りで、どこまでが認められるのかという難しい問題もあります。Googleが行っているパンダアップデートやペンギンアップデートなどの趣旨を鑑みると、今後はコピーコンテンツからの被リンクが増えてもメリットよりもデメリットの方が大きくなっていく可能性が高いと考えられます。(パンダアップデート、ペンギンアップデートについては、記事の最後の「Googleのパンダアップデート、ペンギンアップデート」に書いています。)なぜなら、Googleはコピーコンテンツは不要と考えているからです。2014年10月に「パイレーツアップデート2」を実施しました。詳しくは、記事の最後の「Googleのパイレーツアップデート」で解説していますが、著作権侵害の訴えが多いサイトの評価を下げるアップデートです。Googleは著作権への対応も積極的に行っています。(Google自体が著作権の問題でやり玉に挙げられる場合も多々あるわけですが。)そんなわけで、コピーコンテンツを見かけた場合は、積極的に対応を行っていかないと、将来に向かって悪影響を残してしまう可能性がありますので、しっかりと対処をしていきましょう。Googleに通報することです。それが認められると、Googleの検索インデックスから著作権を侵害しているサイトの情報が削除され、検索結果に表示されなくなります。Googleの検索ページに表示されなくなると言うことは、おおよそそのページが一般に知られることはなくなる、と言うことになります。Googleからペナルティを受けることになり、サイト全体の評価が下がり、検索エンジンから来訪者がなくなるという結果につながります。Tool」を使っていない方は登録を行いましょう。URLにアクセスします。https://www.google.com/webmasters/tools/spamreport?hl=ja「著作権とその他の法律に関する問題」をクリックします。「ウェブ検索」を選択します「上記以外の法的な問題が発生している」を選択します。「自分の著作権を侵害している可能性のあるコンテンツを見つけた」を選択します。「はい、私は著作権所有者、または侵害されていると主張する独占的権利の所有者から代理権を許諾されている者です」を選択します。「その他」を選択します。「こちらのフォーム」をクリックします。表示される各項目にそれぞれ情報を編集します。「著作権対象物を特定する情報とその著作物の説明」には、著作権を侵害していると考えている理由や、何を持って侵害していると判断しているか、あなたの著作物がオリジナルと判断できる理由などコピーコンテンツであることを訴えている理由を記載します。私の場合は、下記のような文章を書きました。「該当サイトは、ブログなどの記事をを紹介するというサイトという見せ方をしていますが、その実体は単なる記事の全文をコピーして掲載しているサイトに過ぎません。画像も直接私のサイトから呼び出していますし、「記事元で続きを読む」とリンクを張ってありますので、元の記事がどこであるかも明確です。「権利を侵害している著作物の場所」には、コピーコンテンツが掲載されているサイトを掲載します。署名は日本語でも問題ありません。全ての手続きが終了すると、受付受領のメッセージが表示されます。Toolsの中にある「削除ダッシュボード」から確認をすることができます。https://www.google.com/webmasters/tools/dmca-dashboardその後は待つだけです。Googleに通報してからGoogleが対応をしてくれると、下記のような形で承認されたことが分かります。何か問題があったり、追加の情報が必要な場合などは連絡が来るようですが、それ以外の場合は、特に連絡が来ることもなく、この画面で「承認されたURL」に数値が編集されていることを見ることで対応されたことが確認できるだけのようです。2週間以上かかりました。2週間くらいは「まだかな、まだかな」と心待ちにして毎日画面をチェックしていましたが、なかなか削除されなかったためすっかり忘れていて、1ヶ月半経ったある日、ふと見て見たら削除されていることに気づきました。そのため、いつごろ削除されたのかは正確には分かりません。数時間で削除される場合もあるようですが、数週間かかる場合もあるということを理解しておきましょう。すると、通報する人が増えたので手が回っていないのかもしれませんね。削除されたので、この記事を掲載することにしました。AdSense対策(画像の直リンク対策)コピーコンテンツの中には、記事を全文コピーする際に、画像はコピーせずにリンクをそのまま使って元のサイトに直リンクを張っているサイトも存在します。その直リンクに対しては、.htaccessの設定をすることで、直リンクを禁止する設定や、違う画像を表示させることで対処を行うこともできます。こちらはこちらでかなり長い記事ですので、別記事にしました。詳しくは「コピーコンテンツ対策.htaccessで直リンク禁止しリダイレクトで対応」に記事を書きましたのでご覧ください。ちなみに、この記事を書くにあたって調査した結果、「直リンク」に関してはいろいろな意味が含まれていることが分かりました。興味がある方は「直リンクとは何か?直リンクとディープリンクの違いと著作権問題」に詳しい記事を書きましたので、そちらを参考にしてください。Googleのパンダアップデート、ペンギンアップデートGoogleの基本方針として「ユーザが望む情報を最適な形で提供する」と言うものがあります。Googleの基本方針に反することを行っているサイトをスパムサイトとして処理をして、ユーザが望まないコンテンツは上位に表示されないようにする施策を次々に実装しています。その施策の中に検索エンジンのアルゴリズムの更新があり、更新される多くの技術の中で「パンダアップデート」と「ペンギンアップデート」という名称を与えられたアップデートがあります。Googleの検索エンジンアルゴリズムのアップデートの名称です。低品質なコンテンツとは、要するにユーザの役に立たないコンテンツのことで、広告が大部分を占めるコンテンツや、本文がほとんどないページや、他のサイトをコピーして作られたサイト、専門性や独自性が少なく内容が乏しいコンテンツなどを指しています。これらのコンテンツやユーザの役に立たないため、検索上位には表示されにくくしています。「ペンギンアップデート」は、スパム行為やウェブマスター向けガイドラインに著しく違反しているサイトを上位に表示しないようにするアルゴリズムアップデートの名称です。SEO目的に作成されているサイト群を対象にしたもので、SEO目的のリンク集のサイトや他のサイトからキーワードをかき集めて機械的に作成したサイトなどを上位表示しないようにすることなどの行為に対処するためのアルゴリズムです。これに加えて、上記のガイドラインに違反しているサイトから被リンクがあるサイトも上位に表示されないようにするアップデートです。これとは別にリンクの売買や不正な方法で上位表示をさせようとしていると見なされたサイトは手動で不正サイトとして処理されています。パンダアップデートやペンギンアップデートなどのアルゴリズムの変更を経て、オリジナルのコンテンツで、よりユーザの役に立つコンテンツがより上位に表示されるように日々更新されていっています。アルゴリズムだけではまだまだ完璧ではありません。Googleに通報することで積極的に対処してくれる対象になっています。ペンギンアップデートのところでも書きましたが、不正なサイトと見なされているサイトからの被リンクは、プラスの評価ではなく、マイナスの評価となる可能性が高くなってきていますので、不正サイトからのリンクがある場合は積極的に対処していくことをおススメします。ちなみに、パンダもペンギンも可愛い動物ですが、可愛らしさから取った名前ではありません。それぞれ「白」と「黒」がハッキリしている動物ですので、白黒をハッキリさせるという意味合いがあると言われています。この一冊で全部わかるWeb技術の基本Googleのパイレーツアップデート先に触れたパンダアップデートやペンギンアップデートは影響が広範囲に及ぶこともあり、知っている方も多いのですが、その他にも多様なアップデートが知られています。その中で、今回の記事に沿うアップデートして「パイレーツアップデート」というものがあります。「パイレーツ」は海賊ですが、海賊の様に他人のものを横取りしていくような行為を取り締まっていくためのアップデートです。8月に導入されたアルゴリズムで、DMCA(デジタルミレニアム著作権法)に抵触して検索結果から削除されたケースが多いサイトを上位表示されないようにするアルゴリズムのアップデートです。2014年10月にアップデートされていますので、本当に最近ですね。上記の記事の中にも書かれていますが、比較的重要なアップデートではありながら、オリジナルのコンテンツを作成している側には全く影響がありませんし、さらにコピーコンテンツを作られて困っている運営者には嬉しいアップデートになるわけですので、いいことばかりのアップデートですね。いうことが広く知られるようになり、コピーコンテンツを作ることが意味がないことだという認識が広がっていくといいですね。すると、この記事も必要なくなってくるわけですが、そうなってくれることを願っています。今回のこの記事に絡んで、このエス技研ブログの情報が掲載されているサイトを詳細にチェックしました。URLの記述がかなりあることです。Webサービスを利用したものがほとんどで、個人のブログではほとんどリンクの設定がないのです。SEOの知識が影響しているからでしょう。発リンクと被リンクリンクには「発リンク」と「被リンク」があります。「被リンク」は外部サイトから貼られているリンクのことで、「発リンク」はその逆で自分のサイトから外部サイトへ貼るリンクのことです。URLは記述するもののリンクの設定はしない、ということにつながっているのだろうと考えています。SEOにおいては、「被リンクを大量にもらい発リンクを行わないことでサイトのパワーが上昇する」と言われていました。この考え方はすでに過去のものになっていると言われています。日々のエッセイや創作の文章を書いているような場合は、参考にするような外部サイトはあまりないので発リンクを設定する機会はあまりないのでしょうけども、このサイトのような技術ブログの場合は、自分だけの全くオリジナルな技術というのはおおよそ存在しないわけですので、何かしら参考にした情報があることが普通なわけです。そんな場合、普通に考えて、自サイトの情報だけで終わらずに参考にしたサイトの情報も併せて掲載し、そちらの情報も確認できるようにしておく方が訪問者のためになる、という考え方があるのです。Googleもそれをしっかり考慮して検索結果に反映していると考えられているのです。SEOの視点から悪影響があるということはなく、逆に自然に参照サイトへ発リンクがあるということは、ユーザのことを考えてコンテンツを構築しているサイトとしてしっかりとした評価を受けることができると考えるべきなのです。Googleからの評価を高め、検索結果の上位に表示されるようになる、ということですね。発リンクに関しては下記のサイトが参考になるんじゃないかと思います。若干記事が書かれた時期が古いですが、この頃からそう言われてきていたということでしょうかね。http://whitehatseo.jp/merit-of-an-outbound-links/RSSによる全文配信を止めるコピーコンテンツを作る際に、RSSフィードの情報を元にしてコンテンツを作成しているパターンが多々あります。理由は、RSSはその性質上、タイトル、本文、抜粋などが分かりやすく分類されているため、それを取得してコンテンツとして作り直すのに都合がいいためです。WordPressの場合はデフォルトが「全文を配信」であることです。これにより、WordPressを使ってブログを作成し、RSSで全文を配信しているサイトはコピーコンテンツを作る側からするとカモサイトなワケです(このブログがそうであったように)。そんなわけで、RSSは全文を配信せず、抜粋のみ配信するようにすべきです。フィードでの各投稿の表示」を「抜粋のみを表示」に変更します。メディア」に設定についての記事を書いていますので参考にしてください。RSSの全文配信を停止しました。1つ目の配信と重なったというだけのお話です。プログラミング・Web関連技術GoogleAdwordsGoogleAdwords最後までお読みいただきましてありがとうございます。コメントをキャンセルメールアドレスが公開されることはありません。*サイト下記の空欄を埋めてください。date*日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)※入力いただいたコメントは管理者の承認後に掲載されます。関連記事Gitはフォルダ自体を管理対象にはできない。空のフォルダを設定する手順Gitはフォルダだけを管理対象にすることはできない。そのため空の.gitkeepファイルを作成し管理対象にすることで、それが入っているフォルダも管理対象にする、と言う手順で管理を行う。ブラウザのキャッシュを活用するの対策!広告バナーを消して表示を高速化あなたのサイトが遅いのはバリューコマースのバナーではないですか?バリューコマースのバナーを外すだけでmod_deflateとmod_expiresを設定するより効果があります!XSERVERにCakePHP3をインストール。コマンドラインのPHPのバージョンを変更する方法で解決XSERVERにCakePHP3をインストールするときに問題となるのはサーバーパネルとSSH接続の時とで認識されるPHPのバージョンの違いがあるため。その解消方法を解説する。不正なコピーコンテンツからの直リンクを拒否する.htaccessの設定方法。拒否するサイトを指定、許可するサイトを指定する方法、単純な拒否と画像の差し替えを解説。FTPでダウンロード時にファイルが重複するため上書きしますか?と表示される問題FTPでファイルをダウンロードする際に「ファイルが重複しています。上書きしますか?」というメッセージが出る場合がありますが、これの原因と対策、解決策の記事です。WebDriverを使ってChromeを自動操作する仕組みを作る際、chromedriver.exeを利用しますが、ディスクがありません、というエラーが発生する場合があります。その対処方法を解説します。本当に?GMO系ロリポップ・ヘテムルを無料で運用する方法があった!ロリポップ、ヘテムルを株主優待を利用して実質無料で運営しよう!という解説記事です。株主優待で提供されるサービスの内容を解説し、無料になる仕組みを解説します。PythonでMySQLへの接続ライブラリMySQL-pythonの簡単インストール方法PythonはMySQLに接続するライブラリは別途インストールが必要。MySQL-pythonライブラリのインストール方法とサンプルスクリプトで動作検証までを解説。EストアのショップサーブのWordPressサービスにメリット無しショップサーブのオプションサービスのWordPressを使ってみましたがデータベースには直接触れず使えないサービスでした。小学校でプログラミングの授業が始まる。プログラムを組むことを覚えることが本質ではなく理論的な手順の組み立てのトレーニングをする授業という理解が必要だと思う。Parserを使ってスクレイピングをする方法を解説。インストール方法、読み込み方法。具体的なスクレイピングを実行するサンプルソースも。Parser」の使い方を解説。要素を取得する方法、そこから属性を取得する方法を解説。マニュアルにはない注意点なども解説。2020.01.27PHPでスクレイピング。スクレイピング」で検索すると「phpQuery」ばかりヒットするが、10年以上も放置されている。Parser」をオススメする。2020.01.26PHPのcURLでAPIやWebサイトへのアクセス方法。file_get_contentsとの比較PHPからWebサイトにアクセスしてHTMLを取得、APIにアクセスして情報を取得する場合は、cURLがオススメ。file_get_contentsでも可能だがエラー制御に難がありトラブルのもとになる。add_shortcode関数を使ったショートコードという機能を利用します。不正なコピーコンテンツからの直リンクを拒否する.htaccessの設定方法。拒否するサイトを指定、許可するサイトを指定する方法、単純な拒否と画像の差し替えを解説。口コミサイトを作るために必要な評価点、レビューを投稿できるプラグインを探して評価。10プラグインをチェックし、8プラグインは詳細解説付き。2014.07.17BackWPupでバックアップ・リストア(復元)の具体的手順BackWPupその9。バックアップファイルからのリストア(復元)の手順です。109キーボード)は日本人サイズのキーボード。ショートカットも押しやすく女性や子供にも優しいサイズ。Web開発・運用に役立つ記事を中心に紹介しています。