中国の検索エンジンBaidu(百度)がひどいことする。

なんだかこのサイトのレスポンスが悪いと思ってアクセスログを確認すると
中国の大手検索サイトBaidu(百度)http://www.baidu.com/のクローラー(スパイダー)が4リクエスト/秒の
アタックをかけてきてました。

このひとはかなりの暴れん坊でありもしないPathとかファイルにアクセスしてきたり
ちょっと作りがわるいサイト(たとえばこのサイト。)なんかだとループまでしてくれます。
サンキュー。


はっきりいって、迷惑です。


と、いえるくらいならこんなに悩まないのでこの際、
着信拒否してみました。

robots.txtに
User-agent: baiduspider
Disallow: /

を追加して百度ロボットの巡回を拒否。

ついでに.htaccessに
SetEnvIf User-Agent "Baiduspider" deny_baidu_spider
order allow,deny
allow from all
deny from env=deny_baidu_spider
deny from 60.28.17

を追加。
(.htaccessを使うには要Apache設定)

[を]Baiduよけhttp://nais.to/~yto/clog/2006-10-18-1.html
を参考にさせていただきました。

≫つづき...


2007/01/25 comment? | No Trackbacks