全球主机交流论坛

标题: 正在大量抓取google 有图比 tumblr 大战300回合 [打印本页]

作者: suzizi 时间: 2017-5-18 11:22
提示: 作者被禁止或删除内容自动屏蔽

作者: yunran 时间: 2017-5-18 11:29
yc010t水帖之王

作者: zhp521163 时间: 2017-5-18 11:32
有git吗？代码分享下一起抓

作者: timhbw 时间: 2017-5-18 11:42
美滋滋

作者: 老神仙 时间: 2017-5-18 11:55
不难，一天几百W轻松的

难的是数据清洗，还有数据展示优化

如果这么大数据放一个数据库里，多线程调用，我了个去，那才是难

（爬虫其实一天上千W的数据也是很容易的，多节点，分布式部署SO EASY）

PYTHON GO NODE.JS 都是很简单的

作者: Eric.c 时间: 2017-5-18 11:56
目前只是单机

先采集主要数据后再分布式

作者: suzizi 时间: 2017-5-18 11:59
提示: 作者被禁止或删除内容自动屏蔽

作者: cw723 时间: 2017-5-18 12:01

suzizi 发表于 2017-5-18 11:59
动不动就出验证码了烦躁。

清洗就是伪原创吧我感觉很容易啊，因为本身采集的数据都是按关键词分类 ...

搞IP池吧。

作者: 老神仙 时间: 2017-5-18 12:35

suzizi 发表于 2017-5-18 11:59
动不动就出验证码了烦躁。

清洗就是伪原创吧我感觉很容易啊，因为本身采集的数据都是按关键词分类 ...

找那些有 JSON API这类的，爽一些

要挖掘背后的东西，

验证码是烦，也没办法，

大神一般都是有办法跳过的，或者自动识别，再或者打码

作者: liutianshu77 时间: 2017-5-18 12:56
提示: 作者被禁止或删除内容自动屏蔽

作者: lsza 时间: 2017-5-18 12:59
跟着苏紫紫大水逼一起水不久就升仙

作者: 341619932 时间: 2017-5-18 13:10
围观大佬，suzizi应该有很多ip吧，可以分布式采集好多

欢迎光临全球主机交流论坛 (https://lilynana.eu.org/)