全球主机交流论坛

标题: 好奇怪呀关于爬虫速度怎么差距这么大 [打印本页]

作者: cw723 时间: 2017-5-29 12:20
标题: 好奇怪呀关于爬虫速度怎么差距这么大

DC 的 AMD 4核只能爬到20M带宽

而 7欧的ATOM可以爬到100M带宽。

更重要的是DC的AMD4核 CPU爬不上去。

而OL的 ATOM可以跑到50%左右CPU

什么原因？

爬虫是SCRAPY

作者: cw723 时间: 2017-5-29 12:21
能检查阻塞在哪里呢？

作者: cw723 时间: 2017-5-29 12:21
而且爬爬速度会变的更慢。。:Q

作者: cw723 时间: 2017-5-29 12:22
是因为SSD和HDD的区别么？

作者: yockii 时间: 2017-5-30 07:12
估计是硬盘的原因

作者: yunran 时间: 2017-5-30 08:06
楼上说的有可能

欢迎光临全球主机交流论坛 (https://lilynana.eu.org/)