Blogケモノやゲーム、プログラムなど・・雑記帳みないなブログです。(1)Webサイトを保存するオンラインサービスは幾つもありますが、大抵はrobotsへnoarchive属性を付けておけば保存されません。それを無視するサービスでも削除要求や「今後一切アーカイブしないでくれ」と行った要求が通るのでちょっと面倒なだけでした。別件で過去3年分のサーバーアクセスログからリンク元一覧を作成していたら「archive.is」からのリンクを発見。なにかなー?とリンク元をゲットしてみると、対象URLのデータ丸ごとアーカイブされていました。元ページなんかを示すcanonicalタグは書き換えられていました。どのサイトをキャッシュしたかはキャッシュページに記載されているから「どのサイトかわからない」って事はないけれど、重要なcanonicalを削除するのはひどいなあ。うちのブログは有料素材も使っているし、なにより自分の死後にデータを残したくないのでarchive.isへ削除要求を送りましたが無視され続けました。これはもうサーバー側でブロックするしかないって事で、ダミーURLにarchive.isのクローラーを差し向けて色々情報を頂いちゃうことに。(ブロックに必要なIPアドレスのみ必要な方は記事の最後へ)(専用ページもできました。)まずはアクセスログ。書式を変更してあるので普通とは違うところがありますが、概ねApache標準の書式です。Safari/537.36"おっと・・対象URLのコンテンツに対してはリファラー偽装してアクセスしてきています。なるとユーザーエージェントのWindows7とChromeも怪しいところ。Slimboxのgifに対してのみPhantomJSのユーザーエージェントが入っていました。PhantomJSはコンソールベースのブラウザでwebkit系をエミュレートできるようです。archive.isはこれを使ってデータをアーカイブしているんでしょうね。次はサーバーのIPアドレスをRIRからいただきます。B.V.って会社のようです。サーバー自体は普通のホスティングサーバーなのでアビューズ報告もダメでしょうし、archive.isに割り当てられたIP一覧も答えてくれないでしょう。今回はarchive.isのIPアドレスを含む46.166.136.0/21をブロックする事に。B.V.の全IPアドレスはこちら:http://ipinfo.io/AS43350そしてこの記事を書きながらテストをしていると・・・2分ほど接続中だったから大丈夫かなー?と思ったら、なんとarchive.isのWebサーバーであるIPアドレス146.0.75.2からアクセスがありました。Safari/534.34"どうやら、メインのサーバーで弾かれるとWebサーバーを設置しているサーバーからアクセスが来るようです。B.V.ってサービスです。これもarchive.isの割り当てと思われる146.0.75.0/24をブロック。B.V.の全IPアドレスはこちら:http://ipinfo.io/AS57043これでおわったー!と思ったら、今度は前の2件より時間をかけてアクセスしてきました。アクセスログとRIRへの照会セットです。Amsterdamって所ですね。これも照会結果である178.62.128.0/17のIPをブロックします。Amsterdamの全IPアドレスはこちら:http://ipinfo.io/AS202018まとめarchive.isは色々なサーバーを使用し対象WebサーバーのIPブロックを抜けてアクセスしてくるサービスでした。サイト管理者の要求を無視し簡単な対策程度なら楽々抜けてくるあたり悪意を感じますね・・w今の所、下記3つのIP範囲をサーバーのファイアウォール等の設定でIP層でブロックするようにすると完全にアーカイブ化をブロックできます。NotFoundページがアーカイブされます。(http://ipinfo.io/AS202018)]ほんと他人のサイトのコンテンツを無許可で自分の良いように扱うサイトは潰れてしまえばいい。レジストレーションの削除トラックバックURLスパム対策のためトラックバックURLを動的に生成しています。生成されるトラックバックURLはコンテンツURLと紐付けされますので、コンテンツURLで指定したサイト以外では使用できませんのでご注意ください。ページを閲覧してください。「コンテンツURL」を入力し「URL生成」ボタンを押してください。トラックバックを送る際はあなたの記事やコンテンツにこの記事のURLを書くかリンクしておいてください。URLがない場合はスパムとして削除され以降の全トラックバックは拒否されます。