全球主机交流论坛

标题: 请教一个火车头问题：对不符合标签必须包含和不得包含... [打印本页]

---

作者: CodyDoby    时间: 2021-6-4 00:04
标题: 请教一个火车头问题：对不符合标签必须包含和不得包含...
关于一个特别棒的标签过滤功能：发现【对不符合标签必须包含和不得包含的记录，是删除 还是标记为未采集】竟然只有两选项，没有第三个选项


选项1：删除
删除之后，以后就碰到这个网址就直接跳过了，但是隔三岔五还要给网址给他让采的，不能就这样跳过了
选项2：标记为未采
这个不行，因为未采的会越来越多，太慢了
要是能来一个
选项3：什么也不做
就好了

还是想用下这个标签过滤功能，有效减少发布的次数，另外这些处理如果要发布模块来做也太耗弱鸡性能

刚开始用用，采集点自己感兴趣的帖子用勿喷！求出个点子

---

作者: hk2r    时间: 2021-6-4 00:49
提示: 作者被禁止或删除 内容自动屏蔽

---

作者: CodyDoby    时间: 2021-6-4 01:10

hk2r 发表于 2021-6-4 00:49
火车7.6，这个功能对应是标签里缺值或等于某值时，忽略更新或删除，

是啊，下一个定时任务中，我想继续采集
但是删除的话，好像下一个任务中跳过他了
而标记为未采的话，可能导致下下下...个任务越来越大
所有我现在是没用这个标签过滤功能，全部在发布模块判断，搞的网站所在的小鸡慢死了

小尾巴翘起来

---

作者: 三哥    时间: 2021-6-4 03:02
火车头就这样，选直接删除就行了

---

作者: CodyDoby    时间: 2021-6-4 03:04

三哥 发表于 2021-6-4 03:02
火车头就这样，选直接删除就行了

那比如是采集论坛，删除了之后，帖子内容有更新了还需要采集，可怎么办呢

小尾巴翘起来

---

作者: 三哥    时间: 2021-6-4 03:06

CodyDoby 发表于 2021-6-4 03:04
那比如是采集论坛，删除了之后，帖子内容有更新了还需要采集，可怎么办呢
小尾巴翘起来 ...

你用的是dz吗

---

作者: CodyDoby    时间: 2021-6-4 03:08

三哥 发表于 2021-6-4 03:06
你用的是dz吗

dz到wordpress

小尾巴翘起来

---

作者: 三哥    时间: 2021-6-4 03:10

CodyDoby 发表于 2021-6-4 03:08
dz到wordpress

小尾巴翘起来

那得改发布接口了，重复的帖子更新而不是为新的帖子

---

作者: CodyDoby    时间: 2021-6-4 03:12

三哥 发表于 2021-6-4 03:10
那得改发布接口了，重复的帖子更新而不是为新的帖子

是啊，目前是我这样做的，但这貌似给我网站所在服务器加了负担

小尾巴翘起来

---

作者: 三哥    时间: 2021-6-4 03:13

CodyDoby 发表于 2021-6-4 03:12
是啊，目前是我这样做的，但这貌似给我网站所在服务器加了负担
小尾巴翘起来 ...

建议用dz

---

作者: CodyDoby    时间: 2021-6-4 03:13

三哥 发表于 2021-6-4 03:10
那得改发布接口了，重复的帖子更新而不是为新的帖子

可能有200多新贴，实际上符合条件的只有10来个，硬是多提交了190次给服务器，完全没必要的

小尾巴翘起来

---

作者: 三哥    时间: 2021-6-4 03:19

CodyDoby 发表于 2021-6-4 03:13
可能有200多新贴，实际上符合条件的只有10来个，硬是多提交了190次给服务器，完全没必要的
小尾巴翘起来 ...

火车头上直接设置不符合的直接删除就好了

---

作者: CodyDoby    时间: 2021-6-4 03:21

三哥 发表于 2021-6-4 03:19
火车头上直接设置不符合的直接删除就好了

我的条件是评论条数，当前不符合，可是后续定时任务可能符合，这删除了之后，以后他还会采集这个被删除了的网址么

小尾巴翘起来

---

作者: 三哥    时间: 2021-6-4 03:22

CodyDoby 发表于 2021-6-4 03:21
我的条件是评论条数，当前不符合，可是后续定时任务可能符合，这删除了之后，以后他还会采集这个被删除了 ...

标记为未采

---

作者: 三哥    时间: 2021-6-4 03:23

CodyDoby 发表于 2021-6-4 03:21
我的条件是评论条数，当前不符合，可是后续定时任务可能符合，这删除了之后，以后他还会采集这个被删除了 ...

标记为未采，下次再采集如果符合了条件就不会再标记为未采

---

作者: CodyDoby    时间: 2021-6-4 03:24

三哥 发表于 2021-6-4 03:19
火车头上直接设置不符合的直接删除就好了

我还尝试用了这个选项不知道能不能行，一会试试

小尾巴翘起来

---

作者: CodyDoby    时间: 2021-6-4 03:26

三哥 发表于 2021-6-4 03:22
标记为未采

这个我在主楼有详细描述，标记为未采集会导致后续任务越来越多，他的做法是：每次任务都是给定的网址库+上一次标记为未采的网址，这样累计，每次任务都700-800个，火车头跑个把小时都跑不完，不敢想无人模式下几天后会多大

小尾巴翘起来

---

作者: 三哥    时间: 2021-6-4 03:26

CodyDoby 发表于 2021-6-4 03:24
我还尝试用了这个选项不知道能不能行，一会试试
小尾巴翘起来

这个是配合定时用的

---

作者: CodyDoby    时间: 2021-6-4 03:28

三哥 发表于 2021-6-4 03:26
这个是配合定时用的

我就是跑定时任务的

小尾巴翘起来

---

作者: 三哥    时间: 2021-6-4 03:29

CodyDoby 发表于 2021-6-4 03:28
我就是跑定时任务的
小尾巴翘起来

其实不用纠结这些，真正的大佬都是手动采集

---

作者: CodyDoby    时间: 2021-6-4 03:31

三哥 发表于 2021-6-4 03:29
其实不用纠结这些，真正的大佬都是手动采集

这说的，我也很无奈，我能咋办呐，还不是求着哪个帮我出个点子省的瞎折腾了

小尾巴翘起来

---

作者: 三哥    时间: 2021-6-4 03:32

CodyDoby 发表于 2021-6-4 03:31
这说的，我也很无奈，我能咋办呐，还不是求着哪个帮我出个点子省的瞎折腾了
小尾巴翘起来 ...

标记为未采就行了啊

---

作者: CodyDoby    时间: 2021-6-4 03:36

三哥 发表于 2021-6-4 03:32
标记为未采就行了啊

不行啊，我发现了问题，才来提问的。
我举个例子：每次任务固定需要采集的网址有70个，如果把当前任务中满足标签过滤条件的网址，例如是60个，标记为未采集，那么下一次的任务的网址数量就是70+60个，这130个可能有120个满足标签过滤条件，下下次的任务将是70+120，爆炸了都

小尾巴翘起来

---

作者: 三哥    时间: 2021-6-4 03:37

CodyDoby 发表于 2021-6-4 03:36
不行啊，我发现了问题，才来提问的。
我举个例子：每次任务固定需要采集的网址有70个，如果把当前任务中 ...

火车头就这样，没办法

---

作者: CodyDoby    时间: 2021-6-4 03:41

三哥 发表于 2021-6-4 03:37
火车头就这样，没办法

刚举的例子有点极端，考虑到重复网址可以排除，增长没那么快，但是10个任务下来700网址多是有的。现在都不敢用标签的过滤功能了，因为针对标签过滤他就仅仅提供了两个选项，而且还是必选的。明天我试下自动清网址库能不能解决

小尾巴翘起来

---

作者: phpsky    时间: 2021-6-4 09:34
转到python你会发现这都不是事

---

作者: CodyDoby    时间: 2021-6-4 10:55

phpsky 发表于 2021-6-4 09:34
转到python你会发现这都不是事

那有事的就是其他的了，大哭

小尾巴翘起来

---

欢迎光临 全球主机交流论坛 (https://lilynana.eu.org/)

Powered by Discuz! X3.4