Web,SEO,lifehacks,ads ＞ vakant.biz ＞ /dev/null » 中国の検索エンジンBaidu(百度)がひどいことする。

中国の検索エンジンBaidu(百度)がひどいことする。

なんだかこのサイトのレスポンスが悪いと思ってアクセスログを確認すると
中国の大手検索サイトBaidu(百度)http://www.baidu.com/のクローラー(スパイダー)が4リクエスト/秒の
アタックをかけてきてました。

このひとはかなりの暴れん坊でありもしないPathとかファイルにアクセスしてきたり
ちょっと作りがわるいサイト（たとえばこのサイト。）なんかだとループまでしてくれます。
サンキュー。

はっきりいって、迷惑です。

と、いえるくらいならこんなに悩まないのでこの際、
着信拒否してみました。

robots.txtに

User-agent: baiduspider
Disallow: /

を追加して百度ロボットの巡回を拒否。

ついでに.htaccessに

SetEnvIf User-Agent "Baiduspider" deny_baidu_spider
order allow,deny
allow from all
deny from env=deny_baidu_spider
deny from 60.28.17

を追加。
(.htaccessを使うには要Apache設定)

[を]Baiduよけhttp://nais.to/~yto/clog/2006-10-18-1.html
を参考にさせていただきました。

こうやって予想してなかった事故（異常系）の処理が発生して、
今日もばっちりだったはずの予定（正常系）がこなせないまま。。。

60%の力でやれないかん。
何事も。
前どこかでみました。

何かに100%注ぎ込もうとしてもなんやかんやで60%。

今後は見積工数X1.66666で考えよう。

ひょっとしてプログラムの正常系処理と異常系処理の平均的な割合も60:40なのか？

2007/01/25