AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / unix / 问题 / 681295
Accepted
Lennart Van der Goten
Lennart Van der Goten
Asked: 2021-12-14 08:12:42 +0800 CST2021-12-14 08:12:42 +0800 CST 2021-12-14 08:12:42 +0800 CST

将文件夹存档到服务器上,在主机上压缩

  • 772

我尝试执行以下操作:

  1. 将文件夹(比如Pictures)上传到服务器
  2. 让服务器压缩输入流并保存到文件

重要的是,步骤 1) 应该是未压缩的,因为连接速度非常快,我认为客户端的压缩会更慢。此外,服务器没有足够的空间来存储未经压缩的目录。理想情况下,服务器上的压缩同时发生。

只要它是多线程的,我就不太关心实际的压缩算法。

networking ssh
  • 2 2 个回答
  • 81 Views

2 个回答

  • Voted
  1. Best Answer
    Marcus Müller
    2021-12-14T08:20:39+08:002021-12-14T08:20:39+08:00

    初步说明:假设您的图片已经压缩(JPEG,PNG,WEBP,...),无论您使用什么压缩,都没有太多可以做的,空间方面的。根本没有熵可以减少了。所以,你的整个计划在这里可能会失败。

    一种常用的方法是使用Tape ARchive格式 (.tar)。您可以将目录序列化为单个 TAR 流,通过 Internet 将其通过管道传输(例如使用 SSH)并在目标上压缩它。

    您还想关闭 SSH 的内置传输压缩,否则一开始就在发送主机上不压缩是没有意义的。

    就像是

    tar c Pictures/ | ssh -o "Compression=no" user@server "zstd -15 -T0 > Pictures.tar.zstd"
    

    替换zstd -T0(使用尽可能多的 CPU 内核,用于 zstandard 压缩;这-15是压缩级别;15 相当残酷,-3比 gzip 更好,但通常更快)为xz -T0(用于并行 XZip 压缩)或pigz(用于并行 gzip 压缩)为你觉得合适。我推荐 zstd,它具有非常好的压缩比/速度折衷;xz速度很慢,而且 gzip 只能产生非常有限的压缩,并且在相对较低的压缩设置下并不比 zstd 快。

    但是请注意,数据加密可能需要比压缩更多的 CPU,所以问题是为什么你不只是

    zstd -r --stdout Pictures/ | ssh -o "Compression=no" user@server "cat > Pictures.zst"
    
    • 1
  2. White Owl
    2021-12-14T08:25:13+08:002021-12-14T08:25:13+08:00

    您可以使用压缩文件系统来完成。

    例如,查看 Btrfs 或 ZFS - 只需将卷定义为在主机上压缩即可满足您的要求。

    • 1

相关问题

  • 远程运行 X 应用程序,在远程主机上运行 GUI [关闭]

  • rsync 端口 22 和 873 使用

  • SCP突然中止:管道损坏,消息验证码不正确

  • 无法识别arp命令或ip命令哪个MAC地址输出正确

  • 奇怪的路由器与centos 6一起工作[关闭]

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    模块 i915 可能缺少固件 /lib/firmware/i915/*

    • 3 个回答
  • Marko Smith

    无法获取 jessie backports 存储库

    • 4 个回答
  • Marko Smith

    如何将 GPG 私钥和公钥导出到文件

    • 4 个回答
  • Marko Smith

    我们如何运行存储在变量中的命令?

    • 5 个回答
  • Marko Smith

    如何配置 systemd-resolved 和 systemd-networkd 以使用本地 DNS 服务器来解析本地域和远程 DNS 服务器来解析远程域?

    • 3 个回答
  • Marko Smith

    dist-upgrade 后 Kali Linux 中的 apt-get update 错误 [重复]

    • 2 个回答
  • Marko Smith

    如何从 systemctl 服务日志中查看最新的 x 行

    • 5 个回答
  • Marko Smith

    Nano - 跳转到文件末尾

    • 8 个回答
  • Marko Smith

    grub 错误:你需要先加载内核

    • 4 个回答
  • Marko Smith

    如何下载软件包而不是使用 apt-get 命令安装它?

    • 7 个回答
  • Martin Hope
    user12345 无法获取 jessie backports 存储库 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl 为什么大多数 systemd 示例都包含 WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky 如何将 GPG 私钥和公钥导出到文件 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll systemctl 状态显示:“状态:降级” 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim 我们如何运行存储在变量中的命令? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S 为什么 /dev/null 是一个文件?为什么它的功能不作为一个简单的程序来实现? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 如何从 systemctl 服务日志中查看最新的 x 行 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - 跳转到文件末尾 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla 为什么真假这么大? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis 在一个巨大的(70GB)、一行、文本文件中替换字符串 2017-12-30 06:58:33 +0800 CST

热门标签

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve