昨天摸索了一天，总算用scrapy把爬虫写好了

hitachi · 发表于 2021-12-17 12:53:45

数据库应该最好用，不如上sqlite？
csv json 二选一选前者。

FreeDog · 发表于 2021-12-17 13:09:44

大佬分享下代码我研究研究

wop · 发表于 2021-12-17 13:21:03

数据库后面取用会舒服很多

mikasa · 发表于 2021-12-17 15:55:04

wop 发表于 2021-12-17 13:21
数据库后面取用会舒服很多

确实打算到时候放数据库

mikasa · 发表于 2021-12-17 15:56:11

FreeDog 发表于 2021-12-17 13:09
大佬分享下代码我研究研究

低技术力屑作就不现丑了，其实就是临时看文档撸的一个学习练手爬虫

dragonfsky · 发表于 2021-12-17 15:57:29

什么数据这么大不会是xjj吧

345 · 发表于 2021-12-17 15:58:20

几十T是什么东西？

luckycat · 发表于 2021-12-17 16:03:45

直接上数据库不好吗?写sql指令 ,脏活累活数据库都帮你干好了,你用文件存到最后不也还是实现数据库的轮子.
python json 几百m dump 出来你机子就要上天了.

mikasa · 发表于 2021-12-17 16:12:39

luckycat 发表于 2021-12-17 16:03
直接上数据库不好吗?写sql指令 ,脏活累活数据库都帮你干好了,你用文件存到最后不也还是实现数据库的轮子.
p ...

还没学，我看一下文档，等下就上。能不能推荐用什么数据库啊？

		自动登录	找回密码
密码			注册