标签归档: 中国

“流氓站点”果然是腾讯SOSO,及最终解决方案

这段时间以来,被各地站长深恶痛绝的“流氓站点”果然打出了SOSO的旗帜,总算敢于表明自己的身份了。它在日志里留下如下的标志:

124.115.4.190 – – [18/Jan/2008:21:48:58 +0900] “GET xxx 403 185 xxx “Sosospider+(+http://help.soso.com/webspider.htm)”

于是我到它的网站访问了一下,看到下述的回答:

4.sosospider访问给我的网站造成很大负载怎么办?

sosospider的正常访问并不会对您的网站造成很大负载。如果您发现有名为Sosospider的agent抓取影响了您正常的服务,请尽快和我们联系。您可以将信息反馈至sosospider@tencent.com,如果能够提供您网站该时段的访问日志将更加有利于我们的分析。

5.我可以拒绝sosospider访问我的站点么?

sosospider遵循robots协议。该协议的详细信息可以参考http://www.robotstxt.org/wc/robots.html(英文网站)。注意:禁止sosospider访问您的网站,将使您的网站在搜搜网页搜索引擎中无法被用户搜索到,请慎重使用。

本人评论:

4: 不会造成”很大”负载?多大算很大?

5:纯粹的谎言。我查了过去一个月的日志,该蜘蛛还是频繁地来,却从来没访问过本站的robots文件。

本来本人对搜索引擎还是相对宽容的,尤其是新兴的。有一个硅谷的新兴搜索引擎,搜索界面还没有呢就在到处抓。由于它没对本站造成什么困扰,虽然它的访问对本站没任何意义,还是由它去了。但SOSO的搜索引擎蜘蛛却一直如此恶劣,只好继续把它当流氓网站对待了。

———————————

1月27日补足:

不管怎么屏蔽和重定向,它还是大段地在我的服务器的日志里留下记录,实在烦不胜烦,于是昨天晚上干脆在路由器里把“124.115.”的IP全部过滤了。于是,日志终于又清净了,生活真美好!

“流氓站点”是腾讯SOSO吗?

在网上看到一篇文章,说124.115.0.* 这个流氓站点可能是为腾讯SOSO的搜索引擎采集数据的。我不知道是不是这样,不过,就算你是搜索引擎,自己占那么多带宽也不对啊!那样拼命地抓就能赶Google超百度吗?要是不提高搜索算法等技术方面的硬指标的话,不过是痴人说梦而已!再有,假定它是搜索引擎的蜘蛛,也有以下的罪过:

  1. 搜索引擎的蜘蛛都打出旗号表明自己的身份,而该流氓却把自己伪装成IE6.0,跟做人一样,一点都不坦荡,这样缩头藏尾的肯定不是什么好东西。
  2. 从没见它读取robots.txt,说明它不愿遵守搜索引擎蜘蛛的规则,不尊重站长。
  3. 不分青红皂白,什么文件都抓,而且显然算法有问题,经常不断地抓同一个文件。
  4. 一点都不顾及对方的带宽,特别是抓本站的相册时,很多图片文件很占带宽,它却抓起来没完,中间毫不间歇,本人有十分宽的带宽都影响到了上网。这更是严重的自私行为,对别人缺乏起码的尊重。如果是腾讯就更说不过去了:当初他们抄袭了国外的通讯程序,而在国内推广时,不也是严重缺乏存储空间和带宽吗?现在有几个钱了,就不顾别人的死活了!

不过,今天发现它好像停了,不知道是全部停了,还是只是在本站停止这种骚扰了。如果它真的是腾讯SOSO的蜘蛛的话(这里说是如果,本人并不能确定它是不是),知道怎么对付它吗?这里教大家一小手(见下面的代码),轻轻一拨弄,不管你多大的劲,都让你从哪里来的就回哪里去,真正的“四两拨千斤”,正传的太极拳打法。:-) 这里只是一个示例,谁这样弄,结果自己负责。

RewriteEngine On
RewriteCond %{REMOTE_HOST} ^124.115.0..*$
RewriteRule ^/(.*) http://www.soso.com/ [R=301]

发现一个流氓站点

今天突然发现上网速度很慢。我的带域很宽,实在想不通为什么,就到服务器上查了一下,发现从124.115.0.*的大量IP的访问,而且是毫无原由的大量访问。我以为是遭受闲得无聊的蹩脚“黑客”的攻击了,后来查了一下过去的LOG文件,发现开始时它是像蜘蛛一样采集,后来可能是陷在一个地方出不来了,在那里不断循环地访问某个没必要访问的文件。

到网上查了一下,发现好多人都深受其害,而且,还发现在某论坛,该IP段有好多的垃圾贴,主要是贴自己的一些链接。估计是什么黒帽SEO所为?既采集大家的站点来拼凑垃圾网站,又贴链接获得PR。

该段的IP地址是:

inetnum: 124.114.0.0 – 124.115.255.255
netname: CHINANET-SN
descr: CHINANET Shanxi(SN) province network
descr: China Telecom
route: 124.114.0.0/15
descr: From Shanxi(CHINANET-SN) Network of ChinaTelecom
person: Xianghong Cao
address: Shanxi provice data communication Bureau
address: 185# zhuque Road
address: Xi’an city, Shanxi provice 710061
address: CN
phone: +8629-523-3633
fax-no: +8629-522-8093
e-mail: sxic@public.xa.sn.cn
nic-hdl: XC9-AP
mnt-by: MAINT-NULL
changed: caoxianghong@263.net 19990409

但目前实际捣乱的都是: 124.114.0.*,还没见其他的。

我发现耍流氓的IP不但有124.114.0.*,还有124.115.0.*。为了用绝后患,我封掉了124.114和124.115。而且也建议大家这么做。

大家也不必到上面的邮件地址反映,根据我的经验,给那里发邮件,也是收到一封“无法送到”的回复。唉!流氓啊!

站长们,没说的,封杀之!鉴于其疯狂和变态,要本着宁可错杀一千,也绝不能漏掉一个的原则,否则你的网站迟早被拖垮。

封其IP的方法:

最简单的方法是从Apache里封(如果你是用Apache当服务器的话)。你既可以在httpd.conf配置文件里设置,又可以在.htaccess里设置。说明如下:

1. 在配置文件里设置:

打开httpd.conf编辑,将下列block如下编辑:

<Directory “/var/www/html”>
Options Indexes FollowSymLinks
AllowOverride None
Order allow,deny
Allow from all
Deny from 124.114.
Deny from 124.115.

</Directory>

2. .htaccess文件法

在网站根目录下建立或打开.htaccess文件,加入如下内容:

Order allow,deny
Allow from all
Deny from 124.114.
Deny from 124.115.

希望大家广为传播,将这段IP地址彻底废掉!

补足:鉴于大家反映上述方法封得太狠了,可将黑体字部分改为:

Deny from 124.115.0.

----

同时参阅:“流氓站点”是腾讯SOSO?

在俄罗斯驻沈阳领事馆签证记

由于公司派我到俄罗斯出差,而且中国人不能在国外申请俄罗斯签证,必须回到中国,且到管辖自己户口所在地的俄罗斯使领馆签。于是只好“假公济私”地回国一趟。

我于一个星期四返回沈阳,星期五一大早起来,打车赶到俄罗斯领事馆,结果看见那里贴着一张纸,说星期五不受理签证!那你在网站上为什么不提一下呢?!我的机票和住宿都订好了,只好赶紧回去联系公司,要求改到下周二启程。这里还要提一下的是,当时我在网上搜索俄罗斯领事馆的地址,结果好多网站说在皇姑区!后来我打电话到俄领事馆特地确认了是在沈阳的使馆区一带(十三纬路)。总之,俄罗斯使领馆的网站怎是一个“差”字了得!(参阅:评价一下各国政府机关网站

等到下个星期一早上再去时,已经有几个人在那里。到站岗的武警处领表,见他写我的名字时,在前面空了好几个位置。

九点到了,还没开始。大约15分钟后,有一俄罗斯人从里面出来,吩咐开始办理。武警念几个名字,被念到的进一个小铁栅栏门,没被叫到的继续站在外面等。当然,只有一两个到屋里去,其余被叫到的继续站在屋外等。

后来发现来了很多代办签证的公司的人,他们直接推门而进,武警也几乎不放一屁。然后他们直接进入室内,好像又先于其他人出来。显然这些公司和俄领事馆及看门的武警有默契,可能都已经金钱开道了吧?由于有许多这种公司的人进去,他们估计也代办不少,所以个人申请者到10点多都迟迟没什么进展。

后来终于又叫一批,期间还有代办公司的人或其他人等来,他们都直接进去。而且更令人可气的是,当有代办公司的人来并长驱直入时,见那把门的武警朝我们笑,好像见我们这样受害不但毫无愧疚之心,而且幸灾乐祸!真不是东西。

到10点半时,只有我和另外三两个人在外面。我找那负责点名的武警抗议几次,也没结果,因为我以为到11点会结束当天的申请,所以比较着急。那武警说,到12点后也会继续受理,我才注意到正式的截止时间是12点。于是稍稍宽慰。不过值得一提的是,我发现我的名字前面的空行都填满了名字。就这样,我在炎热的太阳下站了这么长时间。

后来终于叫到我了,我发现自己排倒数第二。明明有很多人在我后面来的,我也不知道为什么在这里他妈的这么犯小人!结果倒数第一的和我前面的是一伙的,被先叫进去,我终于排在最后。而且就在我要进去之前,又有两个代办公司的人推门而进。后来终于叫到我进去,看见先我而进的代办公司的人坐在里面填表,而我们是在外面凑合着填的。不过,可能恰恰由于他们是在填表,我才能被先于他们受理。

那受理的签证官会说中文,还算客气。之后缴费。一个长得少有姿色的俄罗斯大妞受理。我说申请特急的,她不会说中文,把那签证官叫来。他很显然十分乐意我申请特急的,因为那最贵。最后那个大妞面无人色地把找钱和收据扔了出来。我当然也不必说那例行的谢谢了。走出来时看了下表,12点多了。就这样,我被俄罗斯领事馆和中国守护俄领事馆的武警“罚站”了整整一个上午--很久没受这种“待遇”了(我护照上满是各国签证。其实,自从初中毕业后,从来就没受过这种待遇)。

由于下午3点才能领签证,利用回去的机会,打车到派出所换新身份证。上周五去的时候,告诉我照相用的电脑坏了,让下周再去。问能否到其他派出所办,说不能。周一这天,我打电话去,结果一直是所谓的电脑值班,并且连留言都不让留就挂断了。你既然不想接这个号码的电话,干嘛他妈的在114登录呢?存心浪费老子的钱吗?打到和平分局,那人说给我另一个号码,一打,果然打通。问今天能否办证?说能,来吧。我特意提了一下上周电脑坏了的问题,他还是说能办。于是才打车前往。到了还是那个脸上毫无生气、一副刚从棺材里挖出来的表情的妞。还是说电脑坏了。我生气地走了,显然这么一个小小的派出所,沟通也十分不畅,电脑坏了的情况其他人并不知道,她们也十分心安理得地什么也不干。

再打电话给和平分局,问能不能到分局办理。那人说能,但让我确认该派出所是电脑坏了,还是网络坏了。网络不坏就能在分局照相再回来办手续。我回去一说,她们说网络没坏。再打到分局,那人给了我分局负责办证的地方的电话号码。打过去,一位女士接的,她很客气,耐心地告诉我他们那里不能照相,但我可以到和平区任何一个派出所照相。我回去一说,并询问哪个派出所比较近。里面一个中年妇女说了两个,包括领事馆附近的一个,并说南湖的也坏了。真搞不懂这些笨蛋到底怎么了,不过我正好得回俄领事馆,就先打车去这个十四纬路派出所了。到了一说情况,人家很痛快地就同意了,并不需像那位中年妇女所说的让我“好好地”同他们说一下。看来,打着分局的旗号还是很好使的。照完相,回领事馆取签证。

又是多等了15分钟,才开始叫人进去。比上午好的是,我们是在阴影处站着。那帮人很能抢,除了有好像是去留学或打工等的外,还有大学的老师,结果,刚才还在跟我讲着话,一开始受理,就跟其他人一样一哄而上排在我前面。在国外混了这么多年,真的很不适应国内的情况了。最后没什么波折地领到了签证。好像是个人都得到了签证,毕竟俄内务部已经发邀请函了,只是个形式的问题。

又打车回到那个新兴派出所。这个派出所的楼这几年翻新了,但里面的内容(指有机物部分)很显然还是那样肮脏腐旧。那个有着死人脸的妞挑剔了人家照的相,说头歪了,可能不行。我一看,只是很轻微地歪了一点,就没好气地说,这样凑合用吧,不然我就没身份证了。那位中年妇女看了一下,说没问题。真不知道这家伙脑子有什么病,自己不给办,别人给办了,还鸡蛋里挑骨头。中国人要是都这样,那中国岂不成了一个貌似年轻的但要入土的国家了吗?希望不要如此。旁边有人也没办上,见我在别的地方照了相,就问这事。她含糊其辞地说只有特别急的情况才能如此。我虽然告诉过她们我第二天就得走,但并没这样跟和平分局说,因此这显然是她的无耻的谎言。就这样,这不论外表还是内心都该死的妞就让我花费了6次打车的费用才办理完换身份证,要是再加上我按现在的薪水计算的人工费用的话,恐怕她那几句不知出于什么心理而说的谎言就浪费了我相当于她的月薪的钱。

总结:犯小人的一天。但再难,老子也上!不能因为啦啦咕叫几声就不种地了。