全球主机交流论坛

标题: 听说贵论坛的大佬们多来找个精通python的 [打印本页]

作者: kuangguanyi4 时间: 2018-4-18 10:01
提示: 作者被禁止或删除内容自动屏蔽

作者: 欧阳逍遥 时间: 2018-4-18 10:03
本帖最后由欧阳逍遥于 2018-4-18 11:37 编辑

你是那个要做基于 scrapy 框架的带有web 可视化管理的可视化交互式爬虫系统的那个人？

这里补充下我了解到的需求: 重点在可视化交互（鼠标点点网页就可以获取到爬去规则）。其他倒是没什么技术难点。无非就是 scrapy 多线程爬取，然后任务调度清洗数据放redis 最后导出到多种数据库存储

作者: ??? 时间: 2018-4-18 10:04
提示: 作者被禁止或删除内容自动屏蔽

作者: jy02201949 时间: 2018-4-18 10:04
selenium搞定一切

作者: 捕风 时间: 2018-4-18 10:05
已PM，来看看

欢迎光临全球主机交流论坛 (https://lilynana.eu.org/)