听说贵论坛的大佬们多来找个精通python的

kuangguanyi4 · 发表于 2018-4-18 10:01:54

提示: 作者被禁止或删除内容自动屏蔽

欧阳逍遥 · 发表于 2018-4-18 10:03:58

本帖最后由欧阳逍遥于 2018-4-18 11:37 编辑

你是那个要做基于 scrapy 框架的带有web 可视化管理的可视化交互式爬虫系统的那个人？

这里补充下我了解到的需求: 重点在可视化交互（鼠标点点网页就可以获取到爬去规则）。其他倒是没什么技术难点。无非就是 scrapy 多线程爬取，然后任务调度清洗数据放redis 最后导出到多种数据库存储

??? · 发表于 2018-4-18 10:04:18

提示: 作者被禁止或删除内容自动屏蔽

jy02201949 · 发表于 2018-4-18 10:04:33

selenium搞定一切

捕风 · 发表于 2018-4-18 10:05:03

已PM，来看看

		自动登录	找回密码
密码			注册

kuangguanyi4 kuangguanyi4 当前离线积分 175	电梯直达 1^# 发表于 2018-4-18 10:01:54 来自手机 \| 只看该作者 \|倒序浏览 \|阅读模式提示: 作者被禁止或删除内容自动屏蔽
kuangguanyi4 kuangguanyi4 当前离线积分 175	分享到: QQ好友和群 QQ空间收藏0
	回复举报

[疑问] 听说贵论坛的大佬们多来找个精通python的