AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / user-7600

Martin KS's questions

Martin Hope
Martin KS
Asked: 2018-09-04 07:13:03 +0800 CST

为什么 lftp 镜像操作会随着时间的推移而变慢?

  • 1

我有每天使用 lftp 命令备份到远程 ftp 服务器的 CCTV 服务器。央视服务器每天将视频保存到一个新文件夹,备份每天凌晨 1 点运行一次,因此每次备份只影响 2 个文件夹。28 天后,本地副本全部被删除。

我目前使用的命令是:

mirror --reverse --use-cache --allow-chown --allow-suid --no-umask --verbose

移动文件时的文件传输速率已经保持了 2 年,但文件夹之间的等待正在缓慢增加。这意味着,如果按照每天备份 2GB 的挂钟时间计算,文件传输速率为 1Mb/s,而 2 年后的平均速度现在降至 0.5Mb/s。

我的命令中有什么导致进程膨胀吗?--use-cache例如?

我可以让镜像命令为每个文件夹运行一个线程,以便它可以在上传其他文件时继续加载文件夹内容吗?

lftp ftp
  • 1 个回答
  • 1824 Views
Martin Hope
Martin KS
Asked: 2017-12-22 04:15:02 +0800 CST

大型目录的 lftp 问题:ls & mv

  • 0

大约 6 个月以来,我一直在将文件从闭路电视摄像机备份到 FTP 目录而没有真正考虑过,并且无意中创建了一个目录,其中可能包含 100,000 个文件。

本周我决定对它做点什么,因为现在每当我运行备份脚本时,它会在下载mirror操作所需的文件列表时停止 30 分钟。

我的第一个动作是创建一个小脚本,用于ls将该目录中的所有文件名回显到一个文件中。然后我通过谷歌表格运行该文件以提取文件名的子部分,从中创建更多可管理的子文件夹。然后,当我制作下面的测试脚本来移动我得到的第一个文件时mv: Access failed: 501 File not found (ARC20170315113818.mp4):

#!/bin/bash

# @description: attempt to move file to new folder

#FTP login details
HOST=####
USER=####
PASSWORD=####

lftp -u "$USER","$PASSWORD" $HOST << EOF


cd /CCTVArchive/V2/192.168.0.24/webdav/sdcard/alarm

mv ARC20170314180647.mp4 2017/03/14/



bye

EOF

是否有理由ls并且mv会对存在哪些文件有不同的看法?

谢谢

lftp
  • 1 个回答
  • 631 Views

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    模块 i915 可能缺少固件 /lib/firmware/i915/*

    • 3 个回答
  • Marko Smith

    无法获取 jessie backports 存储库

    • 4 个回答
  • Marko Smith

    如何将 GPG 私钥和公钥导出到文件

    • 4 个回答
  • Marko Smith

    我们如何运行存储在变量中的命令?

    • 5 个回答
  • Marko Smith

    如何配置 systemd-resolved 和 systemd-networkd 以使用本地 DNS 服务器来解析本地域和远程 DNS 服务器来解析远程域?

    • 3 个回答
  • Marko Smith

    dist-upgrade 后 Kali Linux 中的 apt-get update 错误 [重复]

    • 2 个回答
  • Marko Smith

    如何从 systemctl 服务日志中查看最新的 x 行

    • 5 个回答
  • Marko Smith

    Nano - 跳转到文件末尾

    • 8 个回答
  • Marko Smith

    grub 错误:你需要先加载内核

    • 4 个回答
  • Marko Smith

    如何下载软件包而不是使用 apt-get 命令安装它?

    • 7 个回答
  • Martin Hope
    user12345 无法获取 jessie backports 存储库 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl 为什么大多数 systemd 示例都包含 WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky 如何将 GPG 私钥和公钥导出到文件 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll systemctl 状态显示:“状态:降级” 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim 我们如何运行存储在变量中的命令? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S 为什么 /dev/null 是一个文件?为什么它的功能不作为一个简单的程序来实现? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 如何从 systemctl 服务日志中查看最新的 x 行 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - 跳转到文件末尾 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla 为什么真假这么大? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis 在一个巨大的(70GB)、一行、文本文件中替换字符串 2017-12-30 06:58:33 +0800 CST

热门标签

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve