有老哥能爬豆瓣电影吗？

yswei · 发表于 2020-4-7 21:40:21

豆瓣电影的电影电视剧综艺动漫的url或者ID，我再开火车采集。

爬虫部落 · 发表于 2020-4-13 00:07:55

yswei 发表于 2020-4-12 23:47
豆瓣的代码里，综艺动漫都写的电视剧。

直接pm预算吧，预算合适的话可以解决，能保证绝大多数分类的准确

小欢子 · 发表于 2020-4-12 23:53:14

浏览器 F12-Network(点开加载的文件看看，就知道怎么提取豆瓣的影片URL了)

yswei · 发表于 2020-4-12 23:47:56

爬虫部落发表于 2020-4-12 23:41
明天回去看看代码，我记得电影电视是一级分类，还有具体所属类型的二级分类。 ...

豆瓣的代码里，综艺动漫都写的电视剧。

爬虫部落 · 发表于 2020-4-12 23:41:05

yswei 发表于 2020-4-12 23:39
怎么判断是电影电视剧综艺还是动漫呢？

明天回去看看代码，我记得电影电视是一级分类，还有具体所属类型的二级分类。

yswei · 发表于 2020-4-12 23:39:04

爬虫部落发表于 2020-4-12 23:37
我的数据好像除了短评其他字段都抓了，要是价格合适可以考虑出，或者根据你提供的id抓取需要的字段 ...

怎么判断是电影电视剧综艺还是动漫呢？

爬虫部落 · 发表于 2020-4-12 23:37:56

yswei 发表于 2020-4-12 23:34
不知道怎么获取分类

我的数据好像除了短评其他字段都抓了，要是价格合适可以考虑出，或者根据你提供的id抓取需要的字段

yswei · 发表于 2020-4-12 23:34:52

爬虫部落发表于 2020-4-12 22:41
价格到了，什么都有

如果你id够全直接去抓内容就行

不知道怎么获取分类

张大牛 · 发表于 2020-4-12 23:27:24

同求一份，大佬代价pm吧

SFA · 发表于 2020-4-12 22:53:11

豆瓣有api，不过有限制请求频率

		自动登录	找回密码
密码			注册

[Windows VPS] 有老哥能爬豆瓣电影吗？