全球主机交流论坛

标题: 被百度蜘蛛爬的太猛怎么办？ [打印本页]

作者: tiane12 时间: 2014-9-17 20:50
标题: 被百度蜘蛛爬的太猛怎么办？
RT，今天服务器有些卡，查了很久没找到原因，后来看访问日志才发现，百度蜘蛛爬的频率太高了啊。

5分钟内，9200多次请求，浏览器信息：Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

查了一下IP，
220.181.108.*
123.125.71.*
两个C短都是百度蜘蛛。

我也不能ban掉它啊，该怎么办？

作者: 冚家产 时间: 2014-9-17 20:55
关机。

作者: 贱人就是矫情 时间: 2014-9-17 21:11
拔掉网线，这样不影响服务器运行。

作者: hiboshi 时间: 2014-9-17 21:12
提示: 作者被禁止或删除内容自动屏蔽

作者: opelnic 时间: 2014-9-17 22:15
你的服务器流量太小还是性能不行？

作者: tiane12 时间: 2014-9-17 22:50

hiboshi 发表于 2014-9-17 21:12
tracert 过去看看是不是百度的
或者设置 robot 频率

ip138查的是蜘蛛。robot频率是啥？

作者: lightryanking 时间: 2014-9-17 22:53
robot.txt好像对百度不管用吧。。。

作者: tiane12 时间: 2014-9-17 22:54

opelnic 发表于 2014-9-17 22:15
你的服务器流量太小还是性能不行？

香港10M独服，Q8300，4G内存。

作者: SKIDROW 时间: 2014-9-17 23:41
因为艳红自己采集完之后就会K掉你了……

作者: 哎呀 时间: 2014-9-18 00:13
百度的站长工具里面可以设置蜘蛛抓取次数

作者: tiane12 时间: 2014-9-18 08:29

哎呀发表于 2014-9-18 00:13
百度的站长工具里面可以设置蜘蛛抓取次数

感谢！

作者: 一灰 时间: 2014-9-18 09:39
“5分钟内，9200多次请求”除非你的站收录几千万，不然你就是被采集了。

作者: tiane12 时间: 2014-9-18 13:53

一灰发表于 2014-9-18 09:39
“5分钟内，9200多次请求”除非你的站收录几千万，不然你就是被采集了。

收录45万，问题是，来源IP通过IP138查了，来源是百度蜘蛛。

作者: 一灰 时间: 2014-9-18 17:03

tiane12 发表于 2014-9-18 13:53
收录45万，问题是，来源IP通过IP138查了，来源是百度蜘蛛。

ip不一定准确的

用这个方法 http://niuzhan.org/thread-88-1-1.html

作者: tiane12 时间: 2014-9-18 20:50

一灰发表于 2014-9-18 17:03
ip不一定准确的

用这个方法 http://niuzhan.org/thread-88-1-1.html

谢谢。查了，确实是百度。
名称: baiduspider-123-125-71-87.crawl.baidu.com
Address: 123.125.71.87

非常感谢。

作者: 一灰 时间: 2014-9-18 22:49

tiane12 发表于 2014-9-18 20:50
谢谢。查了，确实是百度。
名称: baiduspider-123-125-71-87.crawl.baidu.com
Address: 123.125.71.8 ...

去百度站长工具提交，说蜘蛛爬死了服务器，而且这个数量也不正常，差不多变成搜狗的流氓蜘蛛了。

作者: Captain 时间: 2014-9-19 02:20

tiane12 发表于 2014-9-18 20:50
谢谢。查了，确实是百度。
名称: baiduspider-123-125-71-87.crawl.baidu.com
Address: 123.125.71.8 ...

cpu能再升级下就不那么容易挂了，另外看下硬盘的状态

作者: tiane12 时间: 2014-9-19 10:50

Captain 发表于 2014-9-19 02:20
cpu能再升级下就不那么容易挂了，另外看下硬盘的状态

昨天已经反馈给百度了，等待处理。硬盘是刚换的新硬盘，应该没什么问题。

作者: ineme 时间: 2014-9-19 12:42
你给我导点蜘蛛吧。

欢迎光临全球主机交流论坛 (https://lilynana.eu.org/)