Wasutaモーニング娘。LINK先日当サイトを襲った、パクリブログ問題。ブログが丸ごとパクられました。「http://www.advieshoreca.nl/6s/csctccase.asp」は偽物です2015年2月4日ブログ丸パクリ騒動続報。グーグルとのDMCA侵害に関するメールの詳細と対応の難しさからくる絶望2015年2月9日パクリブログ問題がようやく一定の解決。一般的によく聞くブログ記事のパクリというのは、人気記事だけを盗用したものが多く、僕もそういう認識だった。ところが、今回当サイトを襲ったのは、特定記事だけではなくサイト全体の記事を盗用する、まさに「丸パクリ」というもの。この事実に対する反響はかなり大きく、このような問題に詳しい人でも「丸ごとパクるのは初めて見た」なんて言っていて、それはそれで僕も驚いた。今回のパクリサイトはWEBアプリケーションによって実現されているため、ターゲットが変われば同じような事がいくらでもできるものと思われる。この為、同じような被害にあったサイト運営者の方が、少しでも早く対策できるよう、パクリサイトの仕様や当サイトが受けた被害とその対策をまとめておこうと思う。終わりにパクリサイトの手口(プログラムの仕様)まず、犯人は盗用したいサイトを見つけたら、パクリサイト側のプログラムに対象サイトのドメインを登録するようだ。自身のサイト(パクリサイト)と対象サイト(今回では当サイト)の関連付けを行う。【当サイト】https://estpolis.com/【パクリサイト】http://www.advieshoreca.nl/6s/csctccase.asp【当サイト記事ページ】https://estpolis.com/2015/02/17103.html【パクリサイト記事ページ】http://www.advieshoreca.nl/6s/csctccase.asp?2015/02/17103.htmlそうすると、以下のように動作する。サイトを閲覧した人がアクセスすると(Googleのクローラーも含む)、対象サイトのドメイン配下(当サイトだと.html)のURLから、HTMLをHTTP経由で取得する(ブラウザでアクセスするのと同じイメージ)取得したHTMLをソースコードベースで全文解析し、一定のルールによって置換処理を行う取得したHTMLをパクリサイト側で表示する何言っているかわからない人もいるかもしれないが、対象サイトのドメイン配下のURL全てが対象になるため、単一記事はもちろん、トップページ、カテゴリーページ、タグページなどあらゆるページが盗用されてしまうのだ。その都度対象サイトにアクセスしてくるため、記事を更新すれば即パクリサイトに反映されるし、公開済みの記事を更新しても反映される。コメントももちろん反映される。この事を検証したのが以下の記事だ。ブログが丸ごとパクられました。「http://www.advieshoreca.nl/6s/csctccase.asp」は偽物です2015年2月4日このようなプログラムのため、パクリサイトの表示は遅いし、画像は取得できないという難点はあるものの、恐ろしく簡単にサイト全体を盗用することができる。単純な仕組み故に強力だ。パーマリンクを変更するという対応は通用しないし、RSSの全文配信が原因ではという指摘もいただいたが、そもそもRSS経由で取得していないため関係ない。全コンテンツが対象となるため、こちらとしても何から手を打てばよいかわからなくなってしまうのだ。ドメインを変更すれば対処は可能だが、長く運営しているサイトほどそんなことは簡単にできない。全文解析と置換処理の例プログラムで対象サイトとリンクをしている関係で、記事内に対象サイトのドメインを記述するとそれも置換処理がかかってしまう(対象は半角文字)。犯人がやばいと認識しているキーワードについても置換をかけているようだ。僕が把握したのは「Google→God」だが他にもあるかもしれない。AnalyticsやAdSenseを実行するためのJavaScriptファイル名も置換されてしまう。結果としてこれらの機能がパクリサイトで動作することはない。Adsenseに関してはパクリサイトに表示されることで利用規約に抵触する可能性もあるわけだが、その点だけは大丈夫と思われる。当サイトが受けた被害パクリサイトが登場し、そのサイトの方がGoogleの検索では上位に表示されるようになった事が直接的な被害だ。それによってPV数は減少したし、連動してAdSenseなどのアフィリエイト収入も激減した。実はパクリサイトの存在は1/25くらいに気付いていた。単一記事だと思っていたので、仕事が忙しかったこともあり対応を後回しにしていた。1月末に妻からの申告で、サイト名で検索するとパクリサイトがトップに表示されることに気づき、事の重大さをようやく認識した。検索結果やPV数などは具体的に紹介する。PV数の減少グラフ2015年1月時点で当サイトの平均PV数はデイリー8000PVくらいで、その約半数が検索経由のアクセスだ。サイトが登場したのはおそらく2015年1月20日前後と思われるが、その頃を境に1日20%程度の比率で、PV数が減少していった。最終的に対策が完了したのは2/11なので、それまでずっと減り続けた(パクリ騒動をブログ記事で告発したため、一時的にUPしたことはあったが)。最終的には、デイリー4000PV程度まで減少していたので、約20日間で半分に落ちるまで被害を受けた。対策がもっと遅ければさらに減少していたと思う。検索結果への影響で、PV数減少の原因は当サイトの記事がGoogleの検索で表示されなくなったことと思われる。検索結果での表示回数ベースで見ても、ガクンと下がっていることが分かると思う。上記画像のようにサイト名で検索すると、パクリサイトがトップに表示されるのは一例だが、他のキーワードでも当サイトの記事とパクリサイトの記事が両方表示されるような状態にもなっていた。このような場合、Googleはどちらかを重複コンテンツとして除外してしまう。たちの悪いことに本家である当サイトの記事がIndex削除されていたのだ。ツールで見た当サイトのGoogleにおけるIndex数だが、1月下旬で一気に減っている。重複コンテンツとして、当サイトの記事がIndex削除されたからと思われる。サイトへの対応1:GoogleへのDMCA侵害申告このような被害を受けた場合、まず考えるのはGoogleへのDMCA侵害申告。ツール※Googleへのログインが必要ですDMCA(デジタルミレニアム著作権法)とは、1998年10月に成立し2000年10月に施行された、アメリカの著作権法なのだが、この申告を行うことでパクリサイトをGoogleのIndexから削除することができる。ところがこの手続きにかなり手間取った。申告するものの、Googleから「そのサイトが確認できない」というような回答が返ってくるのだ。英語で(僕は英語ができない)。このやりとりを紹介したのは以下の記事。それでも何とか対応しようとするわけだが、いつまでたっても先に進まない。今回のパターンでは単一記事ではなく、サイト全体が著作権侵害を受けているイメージとなるため、DMCA侵害申告をフォームでURLを列挙して記載した。すると、申告を1つずつ分けてくれというような返答が返ってくる。当サイトは単一記事だけで1000を超えており、それを一つ一つ申告するなんで時間がいくらあっても足りない。ブログであれば、もっと記事数の多いサイトなんて山ほどあるだろう。いうわけで、記事数の少ないサイトであればGoogleへ個別に申告するのもよいが、記事数が多い場合、あまり現実的な対策とはならない。そこで次の手を打った。サイトへの対応2:「.htaccess」でパクリサイトからのアクセスを遮断するパクリサイトの仕様を検証する中でわかった事は、当サイトのコンテンツがリアルタイムに反映されていること。いうことは、パクリサイト側でHTMLなどのコンテンツを保持するのではなく、都度対象サイトにアクセスしているので、当サイトのサーバーに何らかのアクセスログが残っているのではないかと予想した。調べてみると以下のようなアクセスログが出ていることに気がついた。.NET4.0E)”いかにも怪しいドメインだ。いうわけで、このドメインからのアクセスを遮断する方法として最初に思いついたのは「.htaccess」によるアクセス遮断。当サイトはシックスコアというレンタルサーバーを使用しているが、レンタルサーバーのほとんどはWEBサーバーにApacheを使用しているため、「.htaccess」を使うことができる(レンタルサーバーによっては使用を許可していない可能性もある)。ip.space.by.uwwebhostingprovider.nlWEBサイトとして公開しているルートディレクトリ(htdocsとかpublic_htmlとか)にファイルを配備すればよい。配備する方法はレンタルサーバーによってはWEBの管理画面からできることもあるし、SSHでログインしてファイルを作成できるかもしれないし、FTPでファイルをアップロードするかもしれない。レンタルサーバーによって様々なので利用しているサーバーに応じて対応すればよいかと思う。これでアクセス自体は遮断できる。サイト側でも表示できなくなることは確認したが、それでは手ぬるいのだ。サイト運営者ならこの気持ちをわかっていただけると思うが、パクリサイトはできることなら「今すぐ」削除させたい。犯人と直接交渉できるわけがないし、Googleも頼りにならない。サイトのコンテンツ価値を0にする対応が必要となる。その為に、考え付いたのが逆SEOで、SEO的に100%NGな事をやり相手のサイトを実質的に潰してしまう事。Googleの中の人は当てにせず、Googleのシステム(クローラー)に消させてしまうのだ。サイトへの対応3(最終版):WordPressプラグイン「WP-BAN」でアクセス遮断と同時に、SEO的にNGなごみくずレスポンスを返却する「.htaccess」の設定に色々苦戦している時に、WordPressなら「WP-BAN」というプラグインがあるのでこれを試してみてはと教えていただいた。プラグインでのアクセス遮断という発想は僕には全くなくて、こんなものがあるのかと驚いたが、効果は絶大だった。WordPressプラグイン「WP-BAN」の設定例プラグインのインストール自体は通常のプラグインと同じなので、WordPress利用者であれば特に苦戦することはないかと思う。Pluginsプラグインを有効化したら、設定を始める。IPアドレスは念のためで、基本的にホストを設定すればよい。プロキシを経由しサブドメインレベルで色々変わる可能性もあるため、ワイルドカード設定とした。これでパクリサイトは、ブロックされましたというような表示となる。Message」に入力することで、独自のものに編集する事が出来る。この事に気づいて相手のプログラムを逆手に取った作戦を実行する。設定内容は色々あると思うが、こんな感じにした。※画像ですポイントは、H1タグは複数使うのはNG意図的に同じキーワードを詰め込んでいるH1タグの中に入れ子でstrongを複数入れている背景と同色の文字で隠しテキスト(style=”color:white;”)と言った辺り。とてつもないゴミクズコンテンツだ。これを、とりあえず山ほど入れておいた。対策の結果とその後の動向ゴミクズコンテンツがパクリサイトに表示されるようになったのが、2/11朝の話。その日の夜にはすでにサイト名による検索結果での表示が、ゴミクズコンテンツに変わった。この表示でクリックする人は皆無だろう。クローラーが最新情報を取得するペースはまちまちだが、トップページはさすがに早かった。2日後にはサイト名での検索で当サイトがTOPに復活(パクリサイトは4番目くらいにまだ残っていた)。記事ページに関しては、数日経ってもそのままだったが、1週間も経てばほぼ消えてしまった。高性能なGoogleのクローラー。結果として、今回のパクリサイトは対策から1週間程度でコンテンツとしても、GoogleのIndexとしても消滅させることに成功した。対策後のPV数推移というわけで、パクリサイトのコンテンツがほぼ消滅し、当サイトのコンテンツが徐々にGoogleのIndexに復活していった。その甲斐あって、PV数も急激に回復。対策翌日は以下の記事がSNSなどで沢山シェアされていた影響もあるが、効果は数日で出た。ブログ問題がようやく一定の解決。「WP-Ban」による報復対策を実行2015年2月11日というか、元々よりも増えたような感じで、今度は新規サイトと認識されて、ご祝儀的に検索結果で上位になったのだろうかと思うくらいだ。その原動力は何と言っても検索流入の回復で、非常に分かり易く回復した。GoogleのIndexもほぼ元に戻った。SEO的にNGなゴミクズコンテンツをパクリサイトに表示させるという作戦は、かなり有効に作用したし、その効果はかなり早く出ると言えそうだ。今回のパクリサイトの特徴は、対象サイトとしてピックアップされたら、そのサイトがピュアHTMLだろうが、WordPressなどのCMSだろうが関係なく、パクられてしまうという事だ。誰でも被害に合う可能性がある。僕はシステム関係の仕事をしているため、この辺りの対応に多少知見があったわけだが、そうじゃない人の方が多いだろう。それでも、まずは相手の手口を知る事が重要だし、自分のサイトのログがどこに出ているかは知っておく必要がある。いう方向けに知っておいてほしいのは、以下の3つ。1.利用しているサーバーのアクセスログ閲覧方法を把握しておく例えば僕が契約しているシックスコアだと、WEBの管理画面から、アクセスログがダウンロードできる。いう仕組みは普通どこのレンタルサーバーサービスでも用意していると思うので、その方法を把握しておく必要がある。実際ログの解析までは難しいと思うが、ログさえ取得できれば、有識者に見てもらう事も出来るためここは重要なポイントだ。有識者に頼むにしても、調査の基本は「ログ」。これが入手出来ないと色んな意味で、対策は遅くなってしまうだろう。取得方法がわからない場合は、契約しているレンタルサーバー会社に確認しておこう。2.アクセス遮断の方法があるかを把握しておくWordPressであれば前述の通りプラグインを使用して、パクリサイトからのアクセスを遮断することができる。全てのCMSでこのようなプラグインがあるとは限らないし、ピュアHTMLのサイトではプラグインなどという仕組みすらない。多くの場合は、WEBの管理画面から登録するか、「.htaccess」を使うことになると思うが、その方法を把握しておくことも重要だ。3.サービス運営会社の技術的な事に関する問い合わせ先を把握しておくはてなブログやアメーバブログなどでは、上記2つのような仕組みは用意されていない可能性が高い。いう場合運営会社にある程度対応を任せる事ができると思うので(特に有料サービスの場合は)、技術的な話の問い合わせ先を把握しておくべきと思う。レンタルサーバーの場合もそうだが、一人のユーザーで対応するには限界があるので、必要に応じて運営会社に問い合わせするようにした方がよいと思う。※対応スピードは会社によってマチマチと思うが自分の不得意分野で相談できる友達を持つもう一つ大事な話がある。相談できる友達を作っておくってことだ。結局それかよ!と言われそうだし、作ろうと思ってなかなかできるものでもないが、今回の件は本当に色んな方に協力いただいた。サイトにすぐ反映されるなら、パクられたって記事がパクリサイトにも表示されるんじゃない?試してみたら?という助言をFacebookでいただいて、パクリサイトの仕様を確認する記事を書くインスピレーションを得られた。その記事が拡散することで、さらに様々な助言を得ることができた。Googleとの対応においては、慣れない英語であるため、ブロガー友達でもあるヨッセンスのヨスさんに多大な協力をしていただいた。サイトを潰すための逆SEOに関する知識を授けてくれたのもヨスさんだ。ヨスさん経由でしゅんぼーさんを紹介いただき、「.htaccess」でのアクセス遮断や、最終的な決め手となったWordPressプラグイン「WP-BAN」の事を教えていただいた。IT~終わりに正直、今回の件は精神的にもかなりへこんでいた。数年かけて育ててきて、愛着もあるブログが、一瞬にして破壊されたような気持ちになったからだ。このサイト一番のファンは自分自身。思うからこそ楽しいし、続けられるのだが、それが折れかけていた。英語以外の知識は冷静に調べたら、すぐに見つけられた話かもしれない。自分自身も混乱していて、冷静さを欠いてしまう時に、その問題を理解してくれて、落ち着いて協力してくれる友達の存在は、本当に心強かった。彼らの存在がなければ、短期間で解決する事は出来なかっただろう。その他にも応援のメッセージなどを多数いただいたし、個人ブログだがこれほど多くの人たちに支えてもらっていたのかと再認識した次第だ。今回の対応は恒久的な対応とはならない。別のサーバーから同じことをされたら、またこの被害は発生する。対策方法は分かっているので、面倒ではあるがもう焦ることはないだろう。最後になるが、この場を借りて応援していただいた全ての皆様に感謝したします。本当にありがとうございました。今後同じような被害にあった方がいた際、この記事が少しでも役に立てばと思います。ブログが丸ごとパクられました。「http://www.advieshoreca.nl/6s/csctccase.asp」は偽物です2015年2月4日パクリブログ問題がようやく一定の解決。[...]RECOMMEND2011年10月28日ブログ会社バレ2015年2月9日ブログ丸パクリ騒動続報。グーグルとのDMCA侵害に関するメールの詳細と対...2015年2月11日パクリブログ問題がようやく一定の解決。管理サーバーをシックスコアに変更しました。ブログ運営におけるインフラの重要性2012年10月7日パンダアップデート対策の5つのポイント。管理サーバー障害でブログを奪われた日々。運営者プロフィールTwitterFacebookアナザーディメンションへようこそ!当サイトはガジェット・モバイルサービス・アイドルの、考察やレビュー記事を中心にお届けしています。好きなモノ・熱くなれることが中心ですが、1つのことにこだわり過ぎず、フラットなスタンスで様々なモノ・サービスをお伝えすることにこだわっていますレビューズに参加しています。