AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / server / Perguntas / 859563
Accepted
Marco
Marco
Asked: 2017-07-06 12:28:34 +0800 CST2017-07-06 12:28:34 +0800 CST 2017-07-06 12:28:34 +0800 CST

Bash: como contar arquivos em subpastas com eficiência na unidade NFS remota?

  • 772

Estou tentando agrupar uma operação que conta arquivos em uma determinada subpasta de uma unidade NFS remota.

O cliente NFS é o Ubuntu 16.04 LTS. Eu tenho muito poucas informações sobre o servidor NFS remoto. É um NFS v3. É montado anonimamente em rw e sua autenticação é baseada em IP. A largura de banda do cliente é 100/10 e pode carregar em torno de 1,1 MB/s. O provedor anuncia que seu armazenamento de backup é garantido de 1 Gbit/1 Gbit. O tamanho utilizável do volume é <4 TB, a contagem esperada de arquivos é estimada em > 600.000 unidades.

-- Editar #1 :

Os IOPs garantidos anunciados do armazenamento são 2000, mas testar o fs remoto resulta em 7-800iops.

As opções de montagem usadas no cliente são as sugeridas pelo provedor:

rsize=8192,wsize=8192,timeo=14,intr

Para realizar a contagem, minha escolha foi este script:

#!/bin/bash
if [[ $# -eq 0 ]] ; then
   echo 'no folder supplied, use $0 /path/to/folder'
   exit 0
else
   COUNT=$(find $1 -type f|wc -l)
   echo $1 contains $COUNT files.
fi
exit 0

Eu tentei em minha casa, e obviamente foi muito rápido, produzindo:

/home/user contains 12 files.

Quando tento obter essa estatística da unidade NFS remota, o script fica "para sempre".

--Editar #2:

Eu tentei remover o |wc -le adicionar >> $LOGFILEno final do find, mas parece que ele trava aleatoriamente em um intervalo de 2 a 24 horas e, quando trava após muito tempo, a lista está longe de ser completa.

Achei que poderia dividir o achado em pedaços, para evitar esse problema, talvez produzindo uma lista de todas as subpastas ...

for d in $FOLDERLIST;
do
   find $d -maxdepth 0 -type f|wc -l >> $TMPLOG
done

..e então some todos os números em $TMPLOG, então talvez em operações menores o script não trave.

PERGUNTA: Estou usando a melhor maneira possível de economizar recursos para realizar essa contagem? Talvez haja uma maneira mais barata do findque obter a contagem de arquivos?

Estou considerando que talvez seja a abordagem errada para contar arquivos, pois vi quanto tempo leva na unidade remota, deve haver uma sobrecarga... Lembro-me de quando tive alguma experiência em sistemas de arquivos remotos montados via curlftpfs. Enorme sobrecarga, enorme atraso.

NFS deveria ser muito melhor sobre isso, mas neste caso não parece!

linux
  • 1 1 respostas
  • 694 Views

1 respostas

  • Voted
  1. Best Answer
    shodanshok
    2017-07-09T11:49:10+08:002017-07-09T11:49:10+08:00

    Você pode tentar com rsync, usando algo semelhante a:

    rsync --stats -na <srcdir> /tmp/fakedir
    

    As duas primeiras linhas da saída serão assim:

    Number of files: 2000
    Number of files transferred: 1900
    

    O primeiro valor é a soma das entradas dirs+files, enquanto o segundo é apenas o número de arquivos

    • 1

relate perguntas

  • Como descobrir detalhes sobre hardware na máquina Linux?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Você pode passar usuário/passar para autenticação básica HTTP em parâmetros de URL?

    • 5 respostas
  • Marko Smith

    Ping uma porta específica

    • 18 respostas
  • Marko Smith

    Verifique se a porta está aberta ou fechada em um servidor Linux?

    • 7 respostas
  • Marko Smith

    Como automatizar o login SSH com senha?

    • 10 respostas
  • Marko Smith

    Como posso dizer ao Git para Windows onde encontrar minha chave RSA privada?

    • 30 respostas
  • Marko Smith

    Qual é o nome de usuário/senha de superusuário padrão para postgres após uma nova instalação?

    • 5 respostas
  • Marko Smith

    Qual porta o SFTP usa?

    • 6 respostas
  • Marko Smith

    Linha de comando para listar usuários em um grupo do Windows Active Directory?

    • 9 respostas
  • Marko Smith

    O que é um arquivo Pem e como ele difere de outros formatos de arquivo de chave gerada pelo OpenSSL?

    • 3 respostas
  • Marko Smith

    Como determinar se uma variável bash está vazia?

    • 15 respostas
  • Martin Hope
    Davie Ping uma porta específica 2009-10-09 01:57:50 +0800 CST
  • Martin Hope
    kernel O scp pode copiar diretórios recursivamente? 2011-04-29 20:24:45 +0800 CST
  • Martin Hope
    Robert ssh retorna "Proprietário incorreto ou permissões em ~/.ssh/config" 2011-03-30 10:15:48 +0800 CST
  • Martin Hope
    Eonil Como automatizar o login SSH com senha? 2011-03-02 03:07:12 +0800 CST
  • Martin Hope
    gunwin Como lidar com um servidor comprometido? 2011-01-03 13:31:27 +0800 CST
  • Martin Hope
    Tom Feiner Como posso classificar a saída du -h por tamanho 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich O que é um arquivo Pem e como ele difere de outros formatos de arquivo de chave gerada pelo OpenSSL? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent Como determinar se uma variável bash está vazia? 2009-05-13 09:54:48 +0800 CST

Hot tag

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve