百度のクローラーが激しい件

 昨日のnetwork trafficを見たら、13:00-14:00の間の10分おきに50MBものダウンロードが発生していた。何事かと、ログを見るとBaiduspiderという文字が大量に。そう、中国で一位の検索ポータル百度のクローラーだ。googleそっくりのトップページにMP3検索を載せて、著作権法違反で訴えられてたあの百度ですよ。

 にしても、1時間で50MB*6のクロールっていったい?ウチ、そんなもってかれるものないんだけど。ググるといつぞやのMSN同様、被害者続出であることが判明。んー。もうちっと様子見て、ひどいようならDROPチェインにぶち込むか。

/sbin/iptables -A INPUT -i eth0 -s 60.28.0.0/15 -j DROP

コメントを残す

メールアドレスが公開されることはありません。

次のHTML タグと属性が使えます: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <img localsrc="" alt="">