原帖由 Kokgog 于 2011-11-2 18:07 发表 7,8年前有篇文章,说受限于之前的硬件条件和算法情况,蜘蛛很容易在爬动态站爬成死循环,所以就像语言对于递归总会设置一个stack一样,爬虫对于动态页面也存在一定的stack,到一定程度就不跟上去了,事实上当时那篇文章出来的时 ...