搞了个爬虫框架

joF3hzd97uHgKu

鉴于市面上没有让自己满意的网页爬取软件，于是自己搞了一个（现在主要是在内部用）。


发这个帖子主要是想问问：大家一般对爬虫、网页监控或者其他的网络工具都有什么功能要求？


下面是我们开发软件的一些说明：

使用 electron 框架开发的，语言肯定就是 JavaScript 了[部分模块使用其他软件开发的]

桌面软件，支持 windows mac Linux【也许需要 “云” 支持？运行部署到 Docker 中???】

* 数据提取 （爬虫）
* 网页内容监控（类似：OpenWebMonitor）
* 关键词分析 （实际上是输入一个关键词，提取百度 和 Google 搜索引擎 前 n 条内容返回，还可以提取 相关搜索 词）
* 网页内容分析（分析单个页面，获取网页内容、图片、视频之类的数据）
* OCR 识别（有些页面防止的价格信息、手机号之类的可能是图片，并不是数字，可以使用 OCR 来识别出具体的内容）
* 验证码识别（可以识别 简单 的图片验证码【不能识别很多大网站的验证码】，可能这个功能并不会发布出来）


URL 访问使用的是真实的浏览器（当前在 mac、Linux 上使用的是Chrome, windows 上是 Edge），因此可以执行页面的 JS 代码。

实际上数据提取也是执行用户指定的 js 代码（用户的 js 代码是在浏览器访问页面的上下文内执行，因此可以访问到页面的所有内容）

主要缺点也是：需要用户自己会写 js 代码.(只需要会 数据提取的代码就可以了，不需要关心调度和存储)

数据提取代码的例子可以看 https://github.com/QiYuTechOrg/extract 【里面有 百度 和 Google 搜索结果的提取代码】

z6045670

joF3hzd97uHgKu 发表于 2021-5-1 18:34
建议都很好啊。

但是百度他们的翻译 API 都是收费的，集成进去应该没啥难度。

百度有免费的额度 具体忘了 因为没用过
谷歌是免费的 但需要慢速 否则封IP

随机插入  例如一个文章里有多个</p>对吧  可以将预设的文本里的 随机一行或多行 插入到随机</p>（或指定 例如第2个</p>）前面或后面
火车头的预设文本


大佬 你的神器发布的时候 一定要pm我啊  我要尝鲜  也不枉费我在这关注哈

joF3hzd97uHgKu

z6045670 发表于 2021-5-1 12:47
通用模板 尽量有可演变的意义 就是说不懂js的也能照葫芦画瓢的举一反三出来哈
“翻译” 是指翻译插件 例 ...

建议都很好啊。

但是百度他们的翻译 API 都是收费的，集成进去应该没啥难度。

随机插入的场景是啥？ 没太明白这个具体做什么用。

z6045670

joF3hzd97uHgKu 发表于 2021-4-30 19:00
会搞一些通用的模版出来。

通用模板 尽量有可演变的意义 就是说不懂js的也能照葫芦画瓢的举一反三出来哈
“翻译” 是指翻译插件 例如百度翻译 谷歌翻译  英转汉 日转德 采集到的内容翻译后再发布 翻译这个还要考虑到别翻译html标签等。
批量“替换”“插入” 就不用说了
“随机” 例如指定随机数字（1-9999 222-345） 例如随机插入（指定字符后插入 插入数量） ……

其实能满足火车头能做到的 就已经成功了 如果能锦上添花就更牛逼了
bb这么多没有教你做事的意思 不要误解哦 只是个建议哈哈 楼主是大佬

joF3hzd97uHgKu

z6045670 发表于 2021-4-30 18:20
能不能搞成不会js也能用的啊？ 或者照葫芦画瓢就能搞定的？
只会用火车头的撸过。。
不会用爬虫 无奈只能用 ...

能不能搞成不会js也能用的啊？ 或者照葫芦画瓢就能搞定的？

会搞一些通用的模版出来。

翻译

这个的应用场景是啥？

替换、插入

可以放到通用的模版里面。

随机

这是啥意思？随机获取数据？还是随机发布数据？

z6045670

能不能搞成不会js也能用的啊？ 或者照葫芦画瓢就能搞定的？
只会用火车头的撸过。。
不会用爬虫 无奈只能用火车
还有能否实现火车的一些功能 例如翻译 替换 插入 随机 等……

joF3hzd97uHgKu

ins888 发表于 2021-4-30 17:42
大佬666   wp有些主题比较特殊  会针对这些主题做发布适配吗

比如日主题   7b2  lightsns  包括typecho ...

现在只有抓取还没有通用的发布模块【因为我们用不到，我们的系统都是自己开发的，现在只能支持 HTTP 接口发布，当然如果有开发能力，直接读取 SQLite 数据库，自己发布也可以】。

我现在在考虑添加发布模块，可能会从 WordPress 默认的主题开始。

你说的其他主题不能保证都有，软件肯定会支持插件（JavaScript 语言）

（即使没有也可以自己写）。

ins888

joF3hzd97uHgKu 发表于 2021-4-30 16:28
现在还没有对外发布。

过段时间发布我会把下载链接回复到这儿。

大佬666   wp有些主题比较特殊  会针对这些主题做发布适配吗

比如日主题   7b2  lightsns  包括typecho一些热门主题的发布适配

nelsonsylar

mark!开源吗

joF3hzd97uHgKu

ins888 发表于 2021-4-30 10:19
win桌面版的那里可以下载呀

现在还没有对外发布。

过段时间发布我会把下载链接回复到这儿。