全球主机交流论坛

标题: google drive 如何快速上传大量小文件 [打印本页]

作者: dagema 时间: 2019-10-29 10:27
标题: google drive 如何快速上传大量小文件
如题。
用了rclone测试单个大文件的上传速度可以达到10M/s

但如果是大量的小文件，（每个大概100k左右）,这不管上传线程开到10还是20都是400~500k左右

rclone copy --ignore-existing --progress --cache-chunk-size 136M --transfers=20 /home/www google:www

不管如何设置 --cache-chunk-size 和－－transfers（这个管上传文件线程），速度都不能明显提高。

请老司机赐教一下，更快上传速度的方法，感谢！

作者: dagema 时间: 2019-10-29 10:58
测了下gdrive速度也一样

作者: 爱尔兰不动产 时间: 2019-10-29 11:03
你本地拷小文件速度都慢别说是上传了...小文件建议打包

作者: dagema 时间: 2019-10-29 11:13

爱尔兰不动产发表于 2019-10-29 11:03
你本地拷小文件速度都慢别说是上传了...小文件建议打包

如果是ssh就很快。

作者: yidaomm 时间: 2019-10-29 12:06
如果是两个google drive,rclone copy如何使用，实现从一个文件夹复制到另一个文件夹

作者: kuk 时间: 2019-10-29 12:08
醒醒，你就算copy够快，大量小文件会判你超速

作者: leasr 时间: 2019-10-29 12:08
打包吧，无解的

作者: bige 时间: 2019-10-29 12:20
小文件就这样吧，毕竟磁盘还要有时间

作者: CACss 时间: 2019-10-29 12:35
缓存设置减少或为0，
另外API限制的每秒调用数，可能快不了多少
多开几个API，设置多个rclone配置，分文件夹，每个文件夹上传到的GD设置不同的API配置

作者: dagema 时间: 2019-10-29 14:17

CACss 发表于 2019-10-29 12:35
缓存设置减少或为0，
另外API限制的每秒调用数，可能快不了多少
多开几个API，设置多个rclone配置，分文件 ...

这个专业

欢迎光临全球主机交流论坛 (https://lilynana.eu.org/)