discypus雑多なメモの置き場。LinuxやCygwin、プログラミングやPCなど。(2210日前)Linux/robotアクセス制限2003年6月16日当時のお話ですが、お下品なPockey-GetHTMLは、rolots.txtなんて見てくれませんでした。この設定をしても、バリバリ取りに来ます。00:28:51どうもです。HTTP/1.1"してました。Disallowを使ってくれているかどうかは、まだ確かめていません。13:48:314.11.6で、robots.txtを持ってった直後に大量(3334hit)にアクセスしてるのが見つかりました。いうわけで残念ながら「robots.txtは無視」しているようですね。