谁还记得115当年的秒传？怎样实现的？

okgogogo

当年的115的秒传跟现在不一样，几G的文件，在HDD下三两秒扫描完毕实现秒传，直到后来才取消这个特性。
但是115早期的文件，确实出现过“损毁”的情况，估计跟这个秒传特性的不完美有直接关系。
不知道现在还有没有这种快速hash工具实现文件粗略的比对，实现极速hash的效果

filtme

可能是切片hash，不用全文件hash

jhu

粗放型就是对比文件大小，再读取几个字节判断一下文件的类型。
细一点就是对比文件大小+前面若干字节或者MD5对比
再细一点就是对比文件大小+前面+后面若干字节或MD5对比
再细一点可以对比整个文件MD5
再厉害一点可以对比整个文件SHA256

OneTomato

给你个思路，大文件按指定字节数分片，只效验一部分分片（比如第一个分片，中间的分片、结尾的分片）的md5或者hash,如果全部一样，说明是同一个文件，然后就秒传了

yanaxiao

秒传是因为他服务器上已经有一份同样的文件了，比对HASH或者MD5后，直接复制一份（或者做个链接）到你网盘。才能实现秒传。

okgogogo

yanaxiao 发表于 2020-12-15 14:31
秒传是因为他服务器上已经有一份同样的文件了，比对HASH或者MD5后，直接复制一份（或者做个链接）到你网盘 ...

额，你可能没有仔细看我说什么，我的意思当年的115的秒传实现了5GB的文件，三两秒扫描完毕秒传的效果，这远超HDD硬盘的读写速度。跟现在的秒传不一样

kittyy487

okgogogo 发表于 2020-12-15 14:33
额，你可能没有仔细看我说什么，我的意思当年的115的秒传实现了5GB的文件，三两秒扫描完毕秒传的效果，这 ...

确实是这样
百度网盘 读取几个G的文件比对   还要好久呢

两三秒肯定有BUG，所以后面取消了

jq8778

读个文件头尾完事，重复概率极低

okgogogo

kittyy487 发表于 2020-12-15 14:34
确实是这样
百度网盘 读取几个G的文件比对   还要好久呢

这BUG对网盘是毁灭性的，我早期使用115，确实出现过文件损毁的情况，但是后期没有了。估计就是这个快速hash引起的，就是想知道现在有什么好用的快速hash工具来实现粗略的比对，常规的MD5扫描大文件也太慢了……

大姨舅

服务器上有缓存吧

okgogogo

jq8778 发表于 2020-12-15 14:35
读个文件头尾完事，重复概率极低

其实我就是想知道有好用的粗hash工具没，我不需要精比对，但是光对比文件大小又实在太粗犷了，还是希望能扫描一点的

nisekoi

MD5这个好像算的比较快。也可能只取了文件头256个字节的hash、比特币好像也就这么点？