rclone上传到90%左右就重新上传

nisekoi

这是日志，个别文件会这样。上个月就是因为这个原因把我流量一晚上跑光了。
到90%左右的时候速度就一直下降。然后到0。接着重新上传如此反复

1. 2019/06/30 14:25:02 INFO  :
   
2. Transferred:       11.944G / 153.798 GBytes, 8%, 3.184 MBytes/s, ETA 12h40m24s
   
3. Errors:                 1 (retrying may help)
   
4. Checks:              6045 / 6045, 100%
   
5. Transferred:            0 / 2140, 0%
   
6. Elapsed time:    1h4m1.5s
   
7. Transferring:
   
8. *                      /beifen/1.rar: 88% /5.398G, 1.635M/s, 6m41s
   
9. 
   
10. 2019/06/30 14:26:02 INFO  :
    
11. Transferred:       12.001G / 153.798 GBytes, 8%, 3.150 MBytes/s, ETA 12h48m19s
    
12. Errors:                 1 (retrying may help)
    
13. Checks:              6045 / 6045, 100%
    
14. Transferred:            0 / 2140, 0%
    
15. Elapsed time:    1h5m1.5s
    
16. Transferring:
    
17. *                      /beifen/1.rar: 89% /5.398G, 254.972k/s, 40m6s
    
18. 
    
19. 2019/06/30 14:27:02 INFO  :
    
20. Transferred:       12.105G / 158.610 GBytes, 8%, 3.129 MBytes/s, ETA 13h19m7s
    
21. Errors:                 1 (retrying may help)
    
22. Checks:              6045 / 6045, 100%
    
23. Transferred:            0 / 2140, 0%
    
24. Elapsed time:    1h6m1.5s
    
25. Transferring:
    
26. *                      /beifen/1.rar:  1% /5.398G, 4.160M/s, 21m42s
    
27. 
    
28. 2019/06/30 14:28:02 INFO  :
    
29. Transferred:       12.378G / 158.610 GBytes, 8%, 3.152 MBytes/s, ETA 13h11m48s
    
30. Errors:                 1 (retrying may help)
    
31. Checks:              6045 / 6045, 100%
    
32. Transferred:            0 / 2140, 0%
    
33. Elapsed time:    1h7m1.5s
    
34. Transferring:
    
35. *                      /beifen/1.rar:  6% /5.398G, 5.357M/s, 15m59s
    

复制代码

nisekoi

fl20002 发表于 2019-6-30 17:13
od我传了快40T，虽然报错误很多，但是只要让rclone跑完，再check的时候，都是没问题的 ...

换了测试版本解决了，不过有几个显示小问题，传输途中显示的部分文件名是乱码的。
但如果用rclone ls 查看的话显示的是正常文件名。.不过实际上传上去的名字是正常的。无伤大雅

nisekoi

zwgc1234 发表于 2019-6-30 17:06
如果两端都不限速，可以考虑multicloud； 如果本地，客户端最好

看了一下，这个流量太小了。无限流量的太贵了。

fl20002

od我传了快40T，虽然报错误很多，但是只要让rclone跑完，再check的时候，都是没问题的

nisekoi

lzw 发表于 2019-6-30 16:05
onedrive最好用官方客户端，第三方用的api就是个渣渣，当然也要注意单文件不能大于15G，否则无限重传没商量 ...

没办法啊。本地传速度太慢了。拿国外机子开多几个线程十几MB一秒没问题的。就是遇到这么个硬茬了。
不过这个文件我换了测试版后上传成功了。后续正在观察。

nisekoi

sarakuku 发表于 2019-6-30 16:03
减少进程数量，增加retry的时间，应该可解。

--transfers 1 --low-level-retries 120

是使用的一个线程，我按照楼上的方法使用了beta版本客户端。那个传不上去的文件已经传上去了。后续观察中

lzw

onedrive最好用官方客户端，第三方用的api就是个渣渣，当然也要注意单文件不能大于15G，否则无限重传没商量

sarakuku

减少进程数量，增加retry的时间，应该可解。

--transfers 1 --low-level-retries 120

nisekoi

walsh 发表于 2019-6-30 15:06
换成旧版本或者beta 试试 之前我用的时候也有各种奇怪的问题 最后作者确认程序本身有bug 换成beta就没事了  ...

好的，我试一下。