好奇怪呀关于爬虫速度怎么差距这么大

cw723 · 发表于 2017-5-29 12:20:42

DC 的 AMD 4核只能爬到20M带宽

而 7欧的ATOM可以爬到100M带宽。

更重要的是DC的AMD4核 CPU爬不上去。

而OL的 ATOM可以跑到50%左右CPU

什么原因？

爬虫是SCRAPY

cw723 · 发表于 2017-5-29 12:21:03

能检查阻塞在哪里呢？

cw723 · 发表于 2017-5-29 12:21:53

而且爬爬速度会变的更慢。。:Q

cw723 · 发表于 2017-5-29 12:22:36

是因为SSD和HDD的区别么？

yockii · 发表于 2017-5-30 07:12:45

估计是硬盘的原因

yunran · 发表于 2017-5-30 08:06:29

楼上说的有可能

		自动登录	找回密码
密码			注册

好奇怪呀 关于爬虫 速度怎么差距这么大