我很快就会拥有一个包含数千个文件的文件夹,每个文件大约为几 KB。我需要通过 Windows 网络将这些从一个 UNC 共享传输到另一个。一般来说,简单地批量复制文件会更快,还是将它们压缩(例如,在最快模式下使用 7zip)并发送一个或几个大文件会更快?还是在实践中没有区别?
我很快就会拥有一个包含数千个文件的文件夹,每个文件大约为几 KB。我需要通过 Windows 网络将这些从一个 UNC 共享传输到另一个。一般来说,简单地批量复制文件会更快,还是将它们压缩(例如,在最快模式下使用 7zip)并发送一个或几个大文件会更快?还是在实践中没有区别?
由于协商传输的开销,传输单个大文件而不是大量小文件更快。协商是针对每个文件进行的,因此传输单个文件需要执行一次,传输 n 个文件意味着需要执行 n 次。
如果您在传输之前先压缩,您将节省大量时间。
Jon Cahill 非常正确,单个文件会更快。但是值得记住的是,如果连接不稳定,单个文件(或 zip 文件中的中型组)可能会更好,因为如果传输失败,您将不得不重新开始,而多个文件,您只需要重新执行上次启动的文件
将大量小文件写入文件系统也将比单个大文件更昂贵。它需要执行以下操作:
随着您在目录中获得越来越多的文件,这可能会变得非常昂贵。这些步骤中的每一个都会增加复制过程的延迟并减慢整个过程。
相对于平均文件大小的平均数据包大小在这里可能很关键。对于大量小文件,您可能会发现自己发送了许多小数据包。微小的数据包仍然会产生 TCP 开销;结果,您可能会使流量增加一倍。
现代系统甚至相对古老的系统都可以通过单个 TCP 连接发送多个文件,从而避免了握手的成本。
正是我发现的,但如果您想要更快的传输,请从本地计算机启动传输,然后复制到本地驱动器。
即复制\computer1\myshare 到c:\files\myshare,不要使用第三台计算机并从\computer1\myshare 复制到\computer2\mynewshare。
还值得记住的是,协议的选择会影响完成的总时间——例如,从一台主机到另一台主机的 FTP 文件,可能比使用 Windows 文件共享要快得多(当然,域权限之类的东西也是丢失,但在某些情况下,这可能是一个可以接受的折衷——毕竟,这些也会因压缩/解压缩而丢失)