全球主机交流论坛

标题: 昨天坛友让帮忙爬的秀人，今天来分享了 [打印本页]

作者: etc小号 时间: 2022-5-9 20:05
标题: 昨天坛友让帮忙爬的秀人，今天来分享了
https://lilynana.eu.org/thread-1013618-1-1.html
@akkba

源站是这个
[url][url]xiurenb.net[/url][/url]

我分成了两个部分爬的，一个是秀人，一个是其他分类

秀人的29万多张，近80g

all的是其他分类，27万多张，近70g

下面两个都是txt链接地址，wget -i txt名即可食用

http://141.94.115.57:81/xiuren.zip

http://141.94.115.57:81/all.zip

欢迎楼下大佬分流txt以及图包

作者: b66667777 时间: 2022-5-9 20:07
感谢分享

作者: tinysiri 时间: 2022-5-9 20:07
不错支持一下

作者: wissmiss 时间: 2022-5-9 20:09

在下载了谢谢大佬

作者: etc小号 时间: 2022-5-9 20:12

wissmiss 发表于 2022-5-9 20:09
在下载了谢谢大佬

你的速度怎么样。我这大概5m/s的样子

作者: jue 时间: 2022-5-9 20:12

wissmiss 发表于 2022-5-9 20:09
在下载了谢谢大佬

大佬到时候分享一个阿里云盘吧

作者: lewss 时间: 2022-5-9 20:13
小鸡硬盘不够大怎么下载？

作者: etc小号 时间: 2022-5-9 20:16

lewss 发表于 2022-5-9 20:13
小鸡硬盘不够大怎么下载？

1.不下载
2.给小鸡花钱加硬盘
3.换一个硬盘更大的小鸡
4.挂载od或者gd云盘然后下载
5.等其他大佬分享成品
6.直接在源站观赏

作者: yanzhiling2002 时间: 2022-5-9 20:28
这两个zip文件下载不了大佬

作者: etc小号 时间: 2022-5-9 20:33

yanzhiling2002 发表于 2022-5-9 20:28
这两个zip文件下载不了大佬

我这没问题啊，你那显示什么

作者: lucky_qq 时间: 2022-5-9 20:34
感谢大佬分享，辛苦辛苦

作者: zxxx 时间: 2022-5-9 20:35

yanzhiling2002 发表于 2022-5-9 20:28
这两个zip文件下载不了大佬

https://musetransfer.com/s/q24i7frku（有效期至5月16日）｜【Muse】你有一份文件待查收，请点击链接获取文件

作者: 冬雷 时间: 2022-5-9 20:38
已经保存，感谢大佬（LSP）

作者: 好鸭 时间: 2022-5-9 20:41
只有链接没意思呀，图包的名都没有了

作者: 听风的歌 时间: 2022-5-9 20:42
高清原图无水印吗

作者: huanx 时间: 2022-5-9 20:43
没多大兴趣感谢提供

作者: etc小号 时间: 2022-5-9 20:44

听风的歌发表于 2022-5-9 20:42
高清原图无水印吗

水印应该是没有的，高清不高清就不清楚了

作者: KDE 时间: 2022-5-9 20:45
大佬牛逼！

作者: Jee 时间: 2022-5-9 21:11
光是文件列表，对我这样的小白来说，搞不定啊。
直接图片打包到云盘撒。
最好按主题分类，全在一个包里，电脑肯定扛不住。

作者: WZ-Software 时间: 2022-5-9 21:13
楼主能来点视频嘛，我想要萌白酱

作者: yanzhiling2002 时间: 2022-5-9 22:00
没那么大硬盘了，蛋疼，等大佬传一份阿里或者谷歌吧

作者: canxunhulian 时间: 2022-5-9 22:02
原图来我这 acg.ng mjj私我打折

作者: yanzhiling2002 时间: 2022-5-9 22:04

etc小号发表于 2022-5-9 20:33
我这没问题啊，你那显示什么

啥都不显示，没那么大硬盘，等大佬下好了我转存一份吧

作者: akkba 时间: 2022-5-9 22:05
老哥确实牛

作者: Reverie 时间: 2022-5-9 22:27

蹲一个网盘打包

作者: pxy185 时间: 2022-5-9 22:41
老哥，别删，明天白天下

作者: qingseyouran 时间: 2022-5-9 22:43
IDM批量导入，直接卡死

作者: zxxx 时间: 2022-5-9 22:55
有的有水印

作者: qingseyouran 时间: 2022-5-9 23:08

wissmiss 发表于 2022-5-9 20:09
在下载了谢谢大佬

不错
还是wget行
我是win本机下使用这个https://eternallybored.org/misc/wget/

作者: qingseyouran 时间: 2022-5-9 23:16

etc小号发表于 2022-5-9 20:12
你的速度怎么样。我这大概5m/s的样子

我这双开下载3到5m

作者: cpxxx 时间: 2022-5-10 00:29
没速度，等大佬分享了

作者: younghwan 时间: 2022-5-10 01:04
下载中

作者: andox 时间: 2022-5-10 01:38
这种图片站需要什么样的小鸡合适

作者: pxy185 时间: 2022-5-10 13:54
请教下大佬，。这个怎么在后台自动下载啊。我一关闭xshell它就停了

作者: year 时间: 2022-5-10 14:01

下载没那么大盘去你网站看去了

作者: zxxx 时间: 2022-5-10 14:24
有没有大佬下载完成了呀

作者: thaizxj 时间: 2022-5-10 14:52
等一个打包

作者: 5004589 时间: 2022-5-10 15:08

pxy185 发表于 2022-5-10 13:54
请教下大佬，。这个怎么在后台自动下载啊。我一关闭xshell它就停了

wget都会了，开screen呀！

作者: pxy185 时间: 2022-5-10 15:11

5004589 发表于 2022-5-10 15:08
wget都会了，开screen呀！

刚刚以为没有开启，结果发现已经自动下载了

作者: stuazt 时间: 2022-5-10 15:28
格式太不友好了，建个鸡拉下来，还要打包，鸡的io那么差

作者: 张大牛 时间: 2022-5-10 16:05

canxunhulian 发表于 2022-5-9 22:02
原图来我这 acg.ng mjj私我打折

老哥网站挺好看的，你这是什么程序？

作者: stuazt 时间: 2022-5-10 16:33
本帖最后由 stuazt 于 2022-5-11 19:52 编辑

网站改域名了，url列表先把p.xiurenb.net替换成pic.xiurenb.net哦
====================
给大家来个PowerShell的下载命令吧，方便大家在Windows下直接下载。
可以直接按uploadfile后面的路径自动建文件夹，保留楼主的目录结构：

$urls = Get-Content "E:/xiuren.txt"
$lastPath = ""
$currentPath = ""
$outputFile = ""
foreach ($url in $urls){
$outputFile = $url.replace("https://pic.xiurenb.net/uploadfile","E:/target")
$currentPath = $outputFile.Substring(0,$outputFile.LastIndexOf('/'))
if($lastPath -ne $currentPath){
$lastPath = $currentPath
if(-NOT (Test-Path $currentPath)){
mkdir -p $currentPath
}
}
if(-NOT (Test-Path $outputFile)){
Invoke-WebRequest -Uri $url -OutFile $outputFile
}
else{
echo "Skip $outputFile"
}
}

复制代码

使用方法，新建个down.txt文件，把这段代码复制进去，保存。修改扩展名为ps1，也就是down.ps1
然后打开PowerShell7，输入这个down.ps1的完整路径回车就可以运行了。
注意：
1，这段代码是在PowerShell7中测试ok的；
2，代码中"E:/xiuren.txt"，"E:/target"这两个路径自己酌情修改。
3，如果中断了，可以再次执行命令，会自动跳过已经下载过的文件。
4，下载很慢，还是需要改成多线程下载才行

作者: peter0802 时间: 2022-5-10 17:18

canxunhulian 发表于 2022-5-9 22:02
原图来我这 acg.ng mjj私我打折

求全站打包

作者: canxunhulian 时间: 2022-5-10 17:48

张大牛发表于 2022-5-10 16:05
老哥网站挺好看的，你这是什么程序？

WP+子比

作者: 张大牛 时间: 2022-5-10 18:20

canxunhulian 发表于 2022-5-10 17:48
WP+子比

谢谢老哥

作者: huifukejian 时间: 2022-5-10 18:32
用fultter写了个app, 有没有要的

作者: 招财猫 时间: 2022-5-10 18:58
先收藏了看看！

作者: wangjianjilei 时间: 2022-5-10 19:47
本帖最后由 wangjianjilei 于 2022-5-10 19:57 编辑

附件为php版本下载图片，自取
运行方式 windows命令行下php ./doall.php，没有环境变量的自己配

作者: etc小号 时间: 2022-5-10 20:04

wangjianjilei 发表于 2022-5-10 19:47
附件为php版本下载图片，自取
运行方式 windows命令行下php ./doall.php，没有环境变量的自己配 ...

大佬你好，带文件结构吗

作者: qibinghua 时间: 2022-5-10 20:05
可以球写一个py的采集规则吗

作者: etc小号 时间: 2022-5-10 20:09

qibinghua 发表于 2022-5-10 20:05
可以球写一个py的采集规则吗

不好意思哈，我用的火车头

py只会很简单的request和bs4，爬这种网站还是很吃力的

作者: wangjianjilei 时间: 2022-5-10 22:43

etc小号发表于 2022-5-10 20:04
大佬你好，带文件结构吗

带的，看代码就知道了

作者: qingseyouran 时间: 2022-5-10 22:46

wangjianjilei 发表于 2022-5-10 19:47
附件为php版本下载图片，自取
运行方式 windows命令行下php ./doall.php，没有环境变量的自己配 ...

单线程速度太慢，能不能弄个多线程的

作者: qingseyouran 时间: 2022-5-10 22:57

qingseyouran 发表于 2022-5-10 22:46
单线程速度太慢，能不能弄个多线程的

把txt分割了，手动10线程

作者: wangjianjilei 时间: 2022-5-10 23:34

qingseyouran 发表于 2022-5-10 22:46
单线程速度太慢，能不能弄个多线程的

不是不行，主要是他的文件有点问题，我下午写的时候没法一次读然后分割，他的分割点好像有点字符乱码，最后我不得以才这么做的，明天无聊的话看看怎么搞

作者: brady_xiong 时间: 2022-5-11 00:21
求问大佬，这个网站有反扒吗，比如下多了图片会自动触发反扒，让你下载都是同一张图片，大佬是怎么处理反扒的。

作者: etc小号 时间: 2022-5-11 00:53

brady_xiong 发表于 2022-5-11 00:21
求问大佬，这个网站有反扒吗，比如下多了图片会自动触发反扒，让你下载都是同一张图片，大佬是怎么处理反扒 ...

没有，直接爬就行

作者: brady_xiong 时间: 2022-5-11 10:32
求问这个http://mm.hostloc.ltd/ 用的什么主题

作者: uov 时间: 2022-5-11 10:34
秀人全吗才29万张？

作者: etc小号 时间: 2022-5-11 10:34

brady_xiong 发表于 2022-5-11 10:32
求问这个http://mm.hostloc.ltd/ 用的什么主题

cosy破解版

作者: wangjianjilei 时间: 2022-5-11 10:35

brady_xiong 发表于 2022-5-11 10:32
求问这个http://mm.hostloc.ltd/ 用的什么主题

cosy啊，这不是很明显嘛

作者: brady_xiong 时间: 2022-5-11 10:36

etc小号发表于 2022-5-11 10:34
cosy破解版

老哥能分享个不

作者: zxxx 时间: 2022-5-11 10:39

uov 发表于 2022-5-11 10:34
秀人全吗才29万张？

作者: rkghmvyb 时间: 2022-5-11 10:52

huifukejian 发表于 2022-5-10 18:32
用fultter写了个app, 有没有要的

大佬6 啊我想要

作者: cpxxx 时间: 2022-5-11 19:52
有大佬爬完了吗，求分享

作者: ReinerBraun 时间: 2022-5-11 19:55

cpxxx 发表于 2022-5-11 19:52
有大佬爬完了吗，求分享

有打包好的压缩包吗

作者: duwei0997 时间: 2022-5-12 08:26
没整完发现改域名了~
等大佬放完整的

下载了：72630 个文件，11h 58m 16s (449 KB/s) 中的 18G
下载了：79399 个文件，13h 7m 55s (495 KB/s) 中的 22G

复制代码

作者: 虚滞 时间: 2022-5-12 09:00
求个jio本学习

作者: yoyoss 时间: 2022-5-12 10:24
在线等大佬发阿里网盘

作者: giano 时间: 2022-5-12 10:30
秀人的没啥看头啊，全是p出来的图，而且p的很厉害的那种，完全没有任何细节可言

作者: zxxx 时间: 2022-5-12 10:31

yoyoss 发表于 2022-5-12 10:24
在线等大佬发阿里网盘

阿里网盘不能分享压缩包

作者: hostloccom 时间: 2022-5-12 11:09

huifukejian 发表于 2022-5-10 18:32
用fultter写了个app, 有没有要的

大佬求分享

作者: huifukejian 时间: 2022-5-13 20:49

hostloccom 发表于 2022-5-12 11:09
大佬求分享

https://gitee.com/hans2019/config/raw/bef8673d0d6cd2eff5d428dc6d08bbd269ea2afc/app-release.apk

作者: huifukejian 时间: 2022-5-13 20:50

rkghmvyb 发表于 2022-5-11 10:52
大佬6 啊我想要

https://gitee.com/hans2019/config/raw/bef8673d0d6cd2eff5d428dc6d08bbd269ea2afc/app-release.apk

作者: hanweizhe 时间: 2022-5-15 08:18
txt链接变了全部404

作者: 小刀 时间: 2022-5-15 10:52

hanweizhe 发表于 2022-5-15 08:18
txt链接变了全部404

改域名了

作者: hanweizhe 时间: 2022-5-15 19:16

小刀发表于 2022-5-15 10:52
改域名了

试了下都不行不知改撒了

作者: zxxx 时间: 2022-5-16 10:35
本帖最后由 zxxx 于 2022-5-16 13:26 编辑

`　　　　　　　　　　　　　　　　　　　　　　　　　　　　

作者: zxxx 时间: 2022-5-16 12:55
本帖最后由 zxxx 于 2022-5-16 13:26 编辑

`　　　　　　　　　　　　　　　　　　　　　　　　　　　　

作者: akkba 时间: 2022-6-11 11:45
老哥, 来新活了, 球康康

https://lilynana.eu.org/forum.php?mo ... ;page=1#pid12717940

欢迎光临全球主机交流论坛 (https://lilynana.eu.org/)