2010年11月24日クローラーは、robots.txtやメタタグの記述に従ってウェブページの巡回・収集を行っていますが、インターネット上では、robots.txtやメタタグの記述に従わずにウェブページの巡回・収集を行ったり、ユーザーエージェント名を偽装してウェブページの巡回・収集をするクローラーが存在します。OSに標準のアプリケーション。Xに標準のアプリケーション。[ユーティリティ]フォルダを開き、「ターミナル.app」をダブルクリックして起動。Xの場合)を起動します。{IPアドレス}」を入力し、Returnキー(Enterキー)を押します。ドメインが表示されます。{ドメイン}」を入力し、Returnキー(Enterキー)を押します。IPアドレスが表示されます。サーバーでのアクセス制限の際の注意点サーバーでクローラーのアクセス制限を行う場合には、IPアドレスによるアクセス制限ではなく、前述のDNSを参照したアクセス制限をおすすめします。ユーザーエージェント名を偽装するようなクローラーは、robots.txtなどの記述に従いません。このようなクローラーの巡回を拒否する方法については、ご利用のサーバー管理者にお問い合わせください。