AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题 / 859563
Accepted
Marco
Marco
Asked: 2017-07-06 12:28:34 +0800 CST2017-07-06 12:28:34 +0800 CST 2017-07-06 12:28:34 +0800 CST

Bash:如何在远程 NFS 驱动器上有效地计算子文件夹中的文件?

  • 772

我正在尝试批处理计算远程 NFS 驱动器的给定子文件夹中的文件的操作。

NFS 客户端是 Ubuntu 16.04 LTS。我在远程 NFS 服务器上的信息很少。这是一个 NFS v3。它是匿名 rw 安装的,并且它的身份验证是基于 IP 的。客户端的带宽是 100/10,它可以上传大约 1.1 MB/s。提供商宣传其备份存储为 1Gbit/1Gbit 保证。卷的可用大小为 <4TB,预计文件数估计为 >600000 个单位。

--编辑#1:

存储宣传的保证 IOP 为 2000,但测试远程 fs 的结果为 7-800iops。

客户端使用的挂载选项由提供者建议:

rsize=8192,wsize=8192,timeo=14,intr

为了执行计数,我选择了这个脚本:

#!/bin/bash
if [[ $# -eq 0 ]] ; then
   echo 'no folder supplied, use $0 /path/to/folder'
   exit 0
else
   COUNT=$(find $1 -type f|wc -l)
   echo $1 contains $COUNT files.
fi
exit 0

我在家里试了一下,明显很快,输出:

/home/user contains 12 files.

当我尝试从远程 NFS 驱动器获取此类统计信息时,脚本“永远”坐下。

--编辑#2:

我尝试在末尾删除|wc -l并添加,但看起来它在 2 到 24 小时的时间范围内随机挂起,当它在很长一段时间后挂起时,列表远未完成。>> $LOGFILEfind

我认为我可以将查找分成几块,以防止这个问题,也许会产生所有子文件夹的列表......

for d in $FOLDERLIST;
do
   find $d -maxdepth 0 -type f|wc -l >> $TMPLOG
done

..然后将 $TMPLOG 中的所有数字相加,因此在较小的操作中脚本可能不会挂起。

问题:我是否正在使用尽可能节省资源的最佳方式来执行此计数?也许有比find获取文件计数更便宜的方法?

我正在考虑这可能是计算文件的错误方法,因为我看到远程驱动器需要多长时间应该有相当大的开销......我记得当我有一些通过 curlftpfs 挂载的远程文件系统的经验时。巨大的开销,巨大的延迟。

NFS 在这方面应该会好很多,但在这种情况下似乎不是!

linux
  • 1 1 个回答
  • 694 Views

1 个回答

  • Voted
  1. Best Answer
    shodanshok
    2017-07-09T11:49:10+08:002017-07-09T11:49:10+08:00

    您可以尝试使用rsync,使用类似于:

    rsync --stats -na <srcdir> /tmp/fakedir
    

    输出的前两行将如下所示:

    Number of files: 2000
    Number of files transferred: 1900
    

    第一个值是 dirs+files 条目的总和,而第二个值仅是文件数

    • 1

相关问题

  • Linux 主机到主机迁移

  • 如何在 Linux 机器上找到有关硬件的详细信息?

  • 如何在 Linux 下监控每个进程的网络 I/O 使用情况?

  • 在 RHEL4 上修改 CUPS 中的现有打印机设置

  • 为本地网络中的名称解析添加自定义 dns 条目

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve