全球主机交流论坛

标题: rclone上传到90%左右就重新上传 [打印本页]
作者: nisekoi    时间: 2019-6-30 14:36
标题: rclone上传到90%左右就重新上传

这是日志，个别文件会这样。上个月就是因为这个原因把我流量一晚上跑光了。
到90%左右的时候速度就一直下降。然后到0。接着重新上传如此反复
  1. 2019/06/30 14:25:02 INFO  :
  2. Transferred:       11.944G / 153.798 GBytes, 8%, 3.184 MBytes/s, ETA 12h40m24s
  3. Errors:                 1 (retrying may help)
  4. Checks:              6045 / 6045, 100%
  5. Transferred:            0 / 2140, 0%
  6. Elapsed time:    1h4m1.5s
  7. Transferring:
  8. *                      /beifen/1.rar: 88% /5.398G, 1.635M/s, 6m41s

  10. 2019/06/30 14:26:02 INFO  :
  11. Transferred:       12.001G / 153.798 GBytes, 8%, 3.150 MBytes/s, ETA 12h48m19s
  12. Errors:                 1 (retrying may help)
  13. Checks:              6045 / 6045, 100%
  14. Transferred:            0 / 2140, 0%
  15. Elapsed time:    1h5m1.5s
  16. Transferring:
  17. *                      /beifen/1.rar: 89% /5.398G, 254.972k/s, 40m6s

  19. 2019/06/30 14:27:02 INFO  :
  20. Transferred:       12.105G / 158.610 GBytes, 8%, 3.129 MBytes/s, ETA 13h19m7s
  21. Errors:                 1 (retrying may help)
  22. Checks:              6045 / 6045, 100%
  23. Transferred:            0 / 2140, 0%
  24. Elapsed time:    1h6m1.5s
  25. Transferring:
  26. *                      /beifen/1.rar:  1% /5.398G, 4.160M/s, 21m42s

  28. 2019/06/30 14:28:02 INFO  :
  29. Transferred:       12.378G / 158.610 GBytes, 8%, 3.152 MBytes/s, ETA 13h11m48s
  30. Errors:                 1 (retrying may help)
  31. Checks:              6045 / 6045, 100%
  32. Transferred:            0 / 2140, 0%
  33. Elapsed time:    1h7m1.5s
  34. Transferring:
  35. *                      /beifen/1.rar:  6% /5.398G, 5.357M/s, 15m59s
复制代码
作者: sunsea    时间: 2019-6-30 14:40
想问下你这个日志哪里看的？
作者: hjvn2211445    时间: 2019-6-30 14:44
sunsea 发表于 2019-6-30 14:40
想问下你这个日志哪里看的？

加-v 参数
作者: hjvn2211445    时间: 2019-6-30 14:45
传的od吧，不知道怎么解决，传gd一般没问题
作者: nisekoi    时间: 2019-6-30 14:50
hjvn2211445 发表于 2019-6-30 14:45
传的od吧，不知道怎么解决，传gd一般没问题


对，是传的OD，GD没有号子。难受了呀
作者: CheapLolicon    时间: 2019-6-30 14:56
OD API BUG多多
作者: nisekoi    时间: 2019-6-30 15:06
CheapLolicon 发表于 2019-6-30 14:56
OD API BUG多多

唉太难受了。还不能跳过这种文件，一旦遇到一个流量就全给你跑没了。这文件大小也不是最大的，不知道为什么问题偏偏在它身上。
作者: walsh    时间: 2019-6-30 15:06
换成旧版本或者beta 试试 之前我用的时候也有各种奇怪的问题 最后作者确认程序本身有bug 换成beta就没事了 你可以试试看
作者: nisekoi    时间: 2019-6-30 15:16
walsh 发表于 2019-6-30 15:06
换成旧版本或者beta 试试 之前我用的时候也有各种奇怪的问题 最后作者确认程序本身有bug 换成beta就没事了  ...

好的，我试一下。
作者: sarakuku    时间: 2019-6-30 16:03
减少进程数量，增加retry的时间，应该可解。

--transfers 1 --low-level-retries 120
作者: lzw    时间: 2019-6-30 16:05
onedrive最好用官方客户端，第三方用的api就是个渣渣，当然也要注意单文件不能大于15G，否则无限重传没商量
作者: nisekoi    时间: 2019-6-30 16:17
sarakuku 发表于 2019-6-30 16:03
减少进程数量，增加retry的时间，应该可解。

--transfers 1 --low-level-retries 120


是使用的一个线程，我按照楼上的方法使用了beta版本客户端。那个传不上去的文件已经传上去了。后续观察中
作者: nisekoi    时间: 2019-6-30 16:21
lzw 发表于 2019-6-30 16:05
onedrive最好用官方客户端，第三方用的api就是个渣渣，当然也要注意单文件不能大于15G，否则无限重传没商量 ...

没办法啊。本地传速度太慢了。拿国外机子开多几个线程十几MB一秒没问题的。就是遇到这么个硬茬了。
不过这个文件我换了测试版后上传成功了。后续正在观察。
作者: zwgc1234    时间: 2019-6-30 17:06
提示: 作者被禁止或删除 内容自动屏蔽
作者: fl20002    时间: 2019-6-30 17:13
od我传了快40T，虽然报错误很多，但是只要让rclone跑完，再check的时候，都是没问题的
作者: nisekoi    时间: 2019-6-30 17:44
zwgc1234 发表于 2019-6-30 17:06
如果两端都不限速，可以考虑multicloud； 如果本地，客户端最好

看了一下，这个流量太小了。无限流量的太贵了。
作者: nisekoi    时间: 2019-6-30 17:47
fl20002 发表于 2019-6-30 17:13
od我传了快40T，虽然报错误很多，但是只要让rclone跑完，再check的时候，都是没问题的 ...

换了测试版本解决了，不过有几个显示小问题，传输途中显示的部分文件名是乱码的。
但如果用rclone ls 查看的话显示的是正常文件名。.不过实际上传上去的名字是正常的。无伤大雅



欢迎光临 全球主机交流论坛 (https://lilynana.eu.org/) Powered by Discuz! X3.4