禁止360蜘蛛的大量抓取

近来发现我的服务器负担很重,CPU的风扇不时地呜呜叫。打开log一看,原来是360的蜘蛛在大量地抓网页。

本来,搜索引擎的蜘蛛来抓网页,我们应该本着欢迎的态度。但是,我的服务器和带宽实在有限,而且我也不靠网站谋生,因此,我必须尽快结束它的抓取。

查了一下,它是查看robots.txt的,但不知道它是否遵守,因为要大约1天的时间才能知道。但网上有人说它忽视robots.txt。由于我不能再等,为了尽快降低服务器的负担,我以重定向的方法把这些蜘蛛的访问引向360.cn。这绝不是出于某种恶毒的心理,只是相当于拿镜子发个信号,或是像用车灯对前面的车打个信号一样,督促其注意。具体的语句如下(放在.htaccess文件或Apache的配置文件里):

RewriteCond %{REMOTE_ADDR} ^(182.118.2)
RewriteRule ^.*$ http://www.360.cn/ [R=301,L]

RewriteCond %{REMOTE_ADDR} ^(61.55.185.1)
RewriteRule ^.*$ http://www.360.cn/ [R=301,L]

RewriteCond %{REMOTE_ADDR} ^(101.226.1)
RewriteRule ^.*$ http://www.360.cn/ [R=301,L]

RewriteCond %{REMOTE_ADDR} ^(42.62.37.189)
RewriteRule ^.*$ http://www.lenet.com.cn/ [R=301,L]

最后一项是针对来自“Forest Eternal Communication Tech”(IP为42.62.37.189)的长期大量的访问。它没表明网络蜘蛛的身份,但不像是某个人的正常浏览,因此也禁止之(重定向到其公司网站)。

看着360蜘蛛轻快地完成“抓取”而出现的一片片log,心里十分畅快!服务器的负担终于降下来了。

另,我本人十分不喜欢360的各种软件产品,总是觉得所有人都应该尽快卸载掉它们。这里没有任何特别的感情色彩,纯粹是从用户的角度出发而做出的建议。

追加:又一个不读取robots.txt的YYSpider:

RewriteCond %{REMOTE_ADDR} ^(101.227.4.23)
RewriteRule ^.*$ http://www.yunyun.com/ [R=301,L]

现在为什么是个人就能弄个网络蜘蛛,而且上来就大量抓取?真是令人无奈。

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注