やったことスマートフォン用の表示で見るやったことwebサービスを作るときに考えたことを垂れ流します2015-09-29ブログ記事をパクるスクレイピングサイトをアクセス遮断する!日常ブログ記事を書いてると、他のサイトにそっくり内容をパクられることがあります。他人の記事を大量に自動収集して、自分のものとして掲載してアフィ収入を荒稼ぎする。いうサイトをスクレイピングサイトといいます。サイトにせっかく書いた記事を奪われると腹が立ちますね。いう悪いサイトはアクセス制限をかけて遮断してしまいましょう。アクセス遮断方法:1スクレイパーのIPアドレスを調べるhttpdのアクセスログからスクレイパーのIPアドレスを調べます。→(ログ:/var/log/httpd/access_log)スクレイパーは、あなたのサイトのRSSを読み込んで記事を盗むことが多いです。自サイトのRSSのURLにアクセスしてるアドレスを抽出しましょう。このアドレスが容疑者です。スクレイパーはスクレイピングに使うサーバとパクリサイトのサーバを併用してる場合が多いです。抽出したアドレスをwebブラウザに入力してみましょう。サイトが表示されたらそのアドレスはビンゴです。※スクレイピングにするときに独自のアドレスを使い分けてる場合はなかなか対処が難しいですね・・・。ログのアクセス時刻とかユーザーエージェントの情報からあやしい奴を推測するしかなさそうです・・・。犯人のIPアドレスが割れたので.htaccessに書き込んでアクセス遮断してしまいましょう。xxx.xxx.xxx.xxx/32上記の記述で「x.x.x.x」「xx.xx.xx.xx」「xxx.xxx.xxx.xxx」の三匹のノードのアクセスを遮断しています。以上で悪いサイトからのアクセスを遮断できているはずです。今夜記事がパクられないかどうか様子を見てみるぞ・・・。P.S.ワードプレスでブログを書いてる人は「PubSubHubbub」というプラグインを入れるとパクリ対策になりそうです。このプラグインを入れると即効でグーグルが記事をインデックスしてくれるようになるので、「パクリサイトに検索で負けてしまう」という事態を防止できます。グーグルの開発責任者マッツ・カットさん推奨のプラグインなので、安心して使えそうですね。17:00ブログ記事をパクるスクレイピングサイトをアクセス遮断する!Tweet広告を非表示にする関連記事2017-05-11スパムメールに書いてあるURLをクリックしてはいけない!最近ケータイに「スパムメール」をたくさん送り付けられていて...2016-11-04グーグル広告にボットが潜んでいてアクセス数が回りまくってしまう!先日変な問題が起きて、頭を悩まされてしまいました・・。私の...2016-06-23SiteGuardの「ログインロック機能」が意味わからんちんワードプレスのプラグインで「SiteGuard」というのがあります。読者になる検索リンクはてなブログブログをはじめる週刊はてなブログはてなブログPro最新記事このブログについてgoofysでマウントしたS3ディレクトリでSQliteが使えない件。Laravelのバージョンはどのファイルに書いてあるのgrep結果を対話形式で削除してくれるシェルスクリプト!【Wordpress】管理画面のタクソノミー一覧で子要素が表示されない!月別アーカイブはてなブログをはじめよう!absgさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。