forWEB屋forWEB屋プログラマによるプログラマのためのサイト(20年プログラマやってきた職業軍人がお届けする戦闘指南書)ホーム>HowTorobots.txtの書き方2012年5月25日robots.txtは書き方を間違えるとロボットが全滅したりするので注意が必要。BaiduImagespiderというように記述する。参考URL:http://www.oratorio-tangram.com/WebSec/baiduConclusion.html記述が終わったら、一応全滅していないかhttp://www.frobee.com/robots-txt-checkで確認するとよい。解決しなかったら検索してみるよろし。...レンタルサーバはXServerを使え。コメントをキャンセルメールアドレスが公開されることはありません。コメント名前メールアドレスウェブサイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。この記事のトラックバックURL新着記事レンタルサーバはXServerを使え。...pythonのバージョンをyumでいくつか入れている時などpythonのバージョンを変えたい時がある。...PHPのfilesize関数の注意点PHPのfilesize関数にハマった。