更新ホームページのアクセスログを見ていますと、毎日同じようなところから幾度も気になるアクセスがあります。いったところからですが、何か情報収集アクセスのようです。しつこく挙動も不審で迷惑なのでちょこっと対策を講じることにしました。以前より時折ホームページのアクセスログを見ていて不審なアクセスが目についていました。私は自前のアクセスログに通例に従いIPアドレスとユーザエージェントごとにログを記録していますが、これらのアクセスは以下のような特徴があり、特に1と2により貴重な?ログリソースを多く浪費しています。多数のIPアドレスを使って一日幾度もアクセスしてくる。ユーザエージェント(ブラウザ名)が頻繁に変わり、一見通常のブラウザ名だが偽装している疑いもある。Apacheの生ログを確認しても通常のブラウザのアクセスとは異なり人間が見ているようなアクセスには思われない。いってrobots.txtも読んではいない。時には1日のログの半分以上がこれらのアクセスで埋まっていたりします。ひとつのIPで同じユーザエージェントならアクセス回数の表示が増えるだけなので気にはならないのですが...。as13448.comといったところからのアクセスが目につきます。いう種類のアクセスなのだろうかと思いいろいろ検索して調べてみても、単にログをさらしているだけのサイトばかり目について、その実態がつかめません。何も公開せず秘密裏に何かを行っているようで、ますますあやしい!。普通のMSIEを名乗っている。bingbotやmsnbotというのがあるのにだ。いちおうjavascriptも解するようだし、一時cookieも有効になっている(継続cookieは有効になっていない)。ナビゲーションページを見た形跡もないのに常にいきなり記事idを要求してきてページのソースだけは取っているが、背景画像やアイコンなどにはアクセスしてくることはない。明らかに人間が操作しているブラウザとはちがう。robots.txtにはアクセスしてこない。ついでに言わせてもらえば、こんな個人が遊びでやっている弱小ホームページサーバーに多いと日に数百回もアクセスしてくる。何でも頻繁すぎないか?msnの悪口なんか(ほんの少ししか)言ってないぞ。いくらなんでも通常ブラウザの名を名乗ったから、あるいはその挙動が通常ブラウザと同等だからといって、明らかに情報収集のロボットアクセスなのにrobots.txtも見ずに何をやってもいいというもんでもなかろう!まして天下のMicrosoftがやっていいことなのだろうか!別に大きな実害があるわけでもないので放っておいてもいいのだが、気がついてしまうと何かしてあげなくてはいけないと思うたちで...で、少なくともrobots.txtで制御できないアクセスに関しては対策を講じることとしよう。いうやりかたがいいかな。一思十考とまではいかなくても一思三考くらいはせずばなるまい。ファイヤウォール(iptables)で蹴る。.htaccessで蹴る。その他アクセスチェックプログラムで蹴る。これくらいはすぐ思いつくのだが、どれも大人気ないし能がないなあ。Yetiクローラが頻繁にアクセスしてきたとき、naver.jpに少し文句を言って問い合わせたら非常に丁重な返答を頂き親切にrobots.txtの設定の仕方など教えてくれた。その後は全く問題はない。今回もまずはできればそれをやってみよう。as13448.comは問い合わせ先すらわからないし、日本語以外でとなると全く無理。msnは何とかなるかもしれないと思い、問い合わせしようとしたが、な、なんと、ユーザ登録してユーザログインしないと問い合わせさえ受け付けてくれないようだ。こちらもログインを要求してもいいだろう。GUESTという形で人間ならば簡単にログインできるようにしておく。LOGINを要求する。badaccess.phpとでもいうファイルを作って以下を書く。多数のIPでアクセスしてくる通常のブラウザを装う情報収集アクセスは拒否。httpd.confのHostnameLookupsをOnにしてないと動作しません。検索ロボットだと名乗ったのは許す。それ以外以下からのアクセスは該当。