通过各种形式的文件传输传输大量(数 GB)数据时,例如:FTP、SFTP、NFS 和 Samba。他们都遇到了相同的问题,即多个小文件有时会阻碍速度降至 MB 或 KB——甚至超过 10Gbps 的链接。
但是,如果我要在传输之前对整个文件夹进行 zip、tar 或 rar 压缩,那么网络链接就会完全饱和。
是什么导致了这种效果?
可以采取哪些措施来提高通过网络传输许多小型单个文件的大型传输的性能?
在可用的文件传输协议中,哪种最适合?
我拥有对网络的全面管理,因此所有配置和选项都可用,例如在网络接口上设置 MTU 和缓冲区大小,以及在文件服务器配置中关闭异步和加密,这是一些一次性的想法。