全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
楼主: mikasa
打印 上一主题 下一主题

昨天摸索了一天,总算用scrapy把爬虫写好了

[复制链接]
12#
发表于 2021-12-17 12:53:45 | 只看该作者
数据库应该最好用,不如上sqlite?
csv json 二选一选前者。
13#
发表于 2021-12-17 13:09:44 来自手机 | 只看该作者
大佬分享下代码 我研究研究
14#
发表于 2021-12-17 13:21:03 | 只看该作者
数据库后面取用会舒服很多
15#
 楼主| 发表于 2021-12-17 15:55:04 | 只看该作者
wop 发表于 2021-12-17 13:21
数据库后面取用会舒服很多

确实打算到时候放数据库
16#
 楼主| 发表于 2021-12-17 15:56:11 | 只看该作者
FreeDog 发表于 2021-12-17 13:09
大佬分享下代码 我研究研究

低技术力屑作就不现丑了,其实就是临时看文档撸的一个学习练手爬虫
17#
发表于 2021-12-17 15:57:29 来自手机 | 只看该作者
什么数据这么大 不会是xjj吧
18#
发表于 2021-12-17 15:58:20 来自手机 | 只看该作者
几十T是什么东西?
19#
发表于 2021-12-17 16:03:45 | 只看该作者
直接上数据库不好吗?写sql指令 ,脏活累活数据库都帮你干好了,你用文件存到最后不也还是实现数据库的轮子.
python json 几百m dump 出来你机子就要上天了.
20#
 楼主| 发表于 2021-12-17 16:12:39 | 只看该作者
luckycat 发表于 2021-12-17 16:03
直接上数据库不好吗?写sql指令 ,脏活累活数据库都帮你干好了,你用文件存到最后不也还是实现数据库的轮子.
p ...

还没学,我看一下文档,等下就上。能不能推荐用什么数据库啊?
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2025-10-29 00:40 , Processed in 0.063185 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表