lessharm's questions

Estou tendo um problema em que posso montar meus discos manualmente usando o comando mount. Em seguida, adiciono os discos ao fstab. Depois de reiniciar: sda1 aponta para o ponto de montagem correto (/mnt/da), mas o resto não. Por favor me ajude, estou sem ideias.

Configuração do servidor :

• 2 unidades nvme em software raid1
• 10 unidades de 16 TB sem RAID, discos independentes (tive que remover o RAID deles após a configuração inicial)
• SO: Debian 12
• sistema de arquivos xfs
• Usando UUID, obtenho o comando blkid para adicionar os dispositivos ao fstab

Testado :

• Montou manualmente os discos
• Tentei montar um disco por vez
• Tentei adicionar um disco por vez ao fstab e recarregar
• Tentei adicionar todos os discos ao fstab e recarregar

df-h

root@data7 ~ # df -h
Filesystem      Size  Used Avail Use% Mounted on
udev             63G     0   63G   0% /dev
tmpfs            13G  896K   13G   1% /run
/dev/md2        875G 1013M  829G   1% /
tmpfs            63G     0   63G   0% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
/dev/md1        989M   66M  873M   7% /boot
/dev/sdb1        15T  104G   15T   1% /mnt/db
/dev/sdd1        15T  104G   15T   1% /mnt/dc
/dev/sda1        15T  104G   15T   1% /mnt/da
tmpfs            13G     0   13G   0% /run/user/0

lsblk

root@data7 ~ # lsblk
NAME        MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINTS
sda           8:0    0  14.6T  0 disk
└─sda1        8:1    0  14.6T  0 part  /mnt/da
sdb           8:16   0  14.6T  0 disk
└─sdb1        8:17   0  14.6T  0 part  /mnt/db
sdc           8:32   0  14.6T  0 disk
└─sdc1        8:33   0  14.6T  0 part
sdd           8:48   0  14.6T  0 disk
└─sdd1        8:49   0  14.6T  0 part  /mnt/dc
sde           8:64   0  14.6T  0 disk
└─sde1        8:65   0  14.6T  0 part
sdf           8:80   0  14.6T  0 disk
└─sdf1        8:81   0  14.6T  0 part
sdg           8:96   0  14.6T  0 disk
└─sdg1        8:97   0  14.6T  0 part
sdh           8:112  0  14.6T  0 disk
└─sdh1        8:113  0  14.6T  0 part
sdi           8:128  0  14.6T  0 disk
└─sdi1        8:129  0  14.6T  0 part
sdj           8:144  0  14.6T  0 disk
└─sdj1        8:145  0  14.6T  0 part
sdk           8:160  0  57.7G  0 disk
nvme0n1     259:0    0 894.3G  0 disk
├─nvme0n1p1 259:1    0     4G  0 part
│ └─md0       9:0    0     4G  0 raid1 [SWAP]
├─nvme0n1p2 259:2    0     1G  0 part
│ └─md1       9:1    0  1022M  0 raid1 /boot
└─nvme0n1p3 259:3    0 889.3G  0 part
  └─md2       9:2    0 889.1G  0 raid1 /
nvme1n1     259:4    0 894.3G  0 disk
├─nvme1n1p1 259:5    0     4G  0 part
│ └─md0       9:0    0     4G  0 raid1 [SWAP]
├─nvme1n1p2 259:6    0     1G  0 part
│ └─md1       9:1    0  1022M  0 raid1 /boot
└─nvme1n1p3 259:7    0 889.3G  0 part
  └─md2       9:2    0 889.1G  0 raid1 /

blkid

GETTING UUID
root@data7 ~ # blkid | g sda
/dev/sda1: UUID="cea5e8d9-1ddf-4502-a609-3a17af37082c" BLOCK_SIZE="4096" TYPE="xfs" PARTUUID="d0a89050-f533-7245-877e-5006d974516c"
root@data7 ~ # blkid | g sdb
/dev/sdb1: UUID="e3ae1145-d37b-41d7-ac1f-5c6a646bd5ed" BLOCK_SIZE="4096" TYPE="xfs" PARTUUID="da1f85c1-9054-d147-a9b8-0965020b4d67"
root@data7 ~ # blkid | g sdc
/dev/sdc1: UUID="47bf4e70-ec50-4369-88c2-9dfd8dd5d422" BLOCK_SIZE="4096" TYPE="xfs" PARTUUID="f458a5c3-6b6c-054d-a069-27930dcb02f2"

fstab

/etc/fstab - WAS CORRECT BEFORE RESTART .. CHANGED IT 5+ TIMES AND BREAKS AFTER EVERY RESTART
proc /proc proc defaults 0 0
# /dev/md/0
UUID=e2f568f6-846b-4657-b88d-3c8108d5600c none swap sw 0 0
# /dev/md/1
UUID=a5868f6d-b7e5-43b1-ab81-4770a543d83a /boot ext3 defaults 0 0
# /dev/md/2
UUID=612c81e1-94e4-415e-863f-6dfcbe127dee / ext4 defaults 0 0
# /dev/sda1
UUID=cea5e8d9-1ddf-4502-a609-3a17af37082c /mnt/da xfs defaults 0 2
# /dev/sdb1
UUID=e3ae1145-d37b-41d7-ac1f-5c6a646bd5ed /mnt/db xfs defaults 0 2
# /dev/sdc1
UUID=2b28f001-d9a0-4759-8f29-4bf45a18aeb6 /mnt/dc xfs defaults 0 2

Meus outros servidores (em resposta ao comentário de que os nomes dos dispositivos não persistem durante as reinicializações)

root@data2:~$ df -h
Filesystem      Size  Used Avail Use% Mounted on
udev            126G     0  126G   0% /dev
tmpfs            26G  1.3G   24G   6% /run
/dev/sda3       5.5T  4.9T  246G  96% /
tmpfs           126G     0  126G   0% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs           126G     0  126G   0% /sys/fs/cgroup
/dev/sda2       923M   79M  781M  10% /boot
/dev/sde1       5.5T  5.0T  236G  96% /mnt/de
/dev/sdf1       5.5T  4.1T  1.2T  79% /mnt/df
/dev/sdd1       5.5T  4.7T  468G  92% /mnt/dd
/dev/sdc1       5.5T  5.1T   49G 100% /mnt/dc
/dev/sdb1       5.5T  5.1T   74G  99% /mnt/db
tmpfs            26G     0   26G   0% /run/user/1000
tmpfs            26G     0   26G   0% /run/user/0

root@data3:~# df -h
Filesystem      Size  Used Avail Use% Mounted on
udev            126G     0  126G   0% /dev
tmpfs            26G  2.5G   23G  10% /run
/dev/sda3       5.5T  4.2T  1.1T  81% /
tmpfs           126G     0  126G   0% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs           126G     0  126G   0% /sys/fs/cgroup
/dev/sda2       923M   79M  781M  10% /boot
/dev/sdc1        11T   11T  660G  95% /mnt/df
/dev/sdf1        11T  9.2T  1.8T  84% /mnt/de
/dev/sdd1        11T  9.8T  1.2T  90% /mnt/dc
/dev/sde1        11T   11T  191G  99% /mnt/dd
/dev/sdb1        11T   11T  855G  93% /mnt/db
tmpfs            26G     0   26G   0% /run/user/1001
tmpfs            26G     0   26G   0% /run/user/0


root@data4:~# df -h
Filesystem      Size  Used Avail Use% Mounted on
udev            126G     0  126G   0% /dev
tmpfs            26G  2.5G   23G  10% /run
/dev/sda3        11T   11T  249G  98% /
tmpfs           126G     0  126G   0% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs           126G     0  126G   0% /sys/fs/cgroup
/dev/sda2       923M   80M  781M  10% /boot
/dev/sdc1        11T  9.3T  1.7T  85% /mnt/dc
/dev/sdd1        11T  9.0T  2.0T  82% /mnt/dd
/dev/sdb1        11T  9.8T  1.2T  90% /mnt/db
tmpfs            26G     0   26G   0% /run/user/1002
tmpfs            26G     0   26G   0% /run/user/1000
tmpfs            26G     0   26G   0% /run/user/1005
tmpfs            26G     0   26G   0% /run/user/0

Pergunta: Para onde foram os arquivos?

Involuntariamente, digitei o caminho errado ( /mnt/dcem vez de /mnt/de) ao mover alguns diretórios grandes. Minha intenção era mover os arquivos para um novo caminho na mesma unidade, mas meu caminho de destino era uma unidade separada. São cerca de 500 GB de arquivos. Após 5 segundos eu cancelei o comando com ctrl+c. 90% dos arquivos estão faltando agora. Eles não estão no caminho de origem ou destino. Quais são os passos que posso tomar para descobrir onde eles estão?

Comando usado:

mv * /mnt/dc/RUNNING/3b_tar

Diretórios dentro/mnt/de/STORAGE

100bb_3b_bbvbu_tar  100bb_3b_bbvco_tar  100bb_3b_bbvep_tar  100bb_3b_bbvmp_tar

Resultado:

Only one folder remains in the source path. Only one folder made it to the destination path (with most of its contents missing). Two folders are completely missing.

Motivo da edição

Eu originalmente pensei que o problema era com o arquivo *. Então, eu estava solucionando problemas usando esta resposta. Após o comentário de toppk, olhei para os caminhos e percebi que estava realmente movendo os arquivos para uma unidade diferente.

Resumo da pergunta: Existe alguma maneira de diminuir o uso de ram do ratarmount? Quais fatores afetam o uso de ram (além do tamanho do tar)?

Edição/esclarecimento da pergunta: Que método posso usar para reduzir ao mínimo a memória residente?

O meu caso:

• Estou usando ratarmount para montar arquivos tar massivos (800gb é o maior que tenho, por exemplo).
• Eu tenho um servidor com unidades de 6x6tb, 20 núcleos e 256gb de ram.
• Eu tenho cerca de 20-25 tb desses tipos de arquivos tar montados
• Com a quantidade acima de arquivos tar montados, acabei de atingir a quantidade máxima de ram no meu servidor ~ 250gb
• Os arquivos tar têm uma quantidade louca de (possivelmente centenas de milhões) pequenos arquivos e pastas.

Meu problema: Ratarmount agora atingiu 240 GB de uso de ram para mim e está praticamente maximizando a ram dos meus servidores. Ainda preciso montar outros 5-10 tb de arquivos tar.

Parece um pouco inconsistente com a quantidade de ram que ele usa. Por exemplo, a primeira vez que você montá-lo acabará usando mais memória RAM do que se ele fosse montado a partir de um arquivo de índice. É um mistério para mim o que posso experimentar para torná-lo mais ineficiente. Aberto a qualquer ideia. Eu preciso diminuir o uso de ram em ~ 25% para terminar meu projeto.

Nota lateral ... Eu vi que este usuário criou ratarmount. É um programa incrível que me salvou completamente, mas não tenho ideia de como entrar em contato com ele ou o que é considerado a maneira estabelecida / aceitável de alcançar alguém aqui ou no github

Tenho um servidor web (especificações abaixo) com 12 TB de armazenamento. Estou movendo grandes quantidades de arquivos csv empacotados em TARs para o servidor e, em seguida, extraindo no servidor. O problema é que ao extrair os arquivos TAR, o servidor fica tão lento que fica quase inutilizável. Não estou fazendo nada maluco, geralmente executando 2-4 extrações por vez. Mas mesmo executando apenas um ou dois, o servidor fica visivelmente lento. Isso vai ser um grande problema para mim, já que estarei carregando e extraindo arquivos TAR enquanto as pessoas quiserem usar o site e agora não posso fazer as duas coisas. Sou realmente novo no Linux e nesta comunidade, então deixe-me saber se posso fornecer mais informações úteis e atualizarei a postagem.

Eu estou supondo que o disco é o gargalo?

Em caso afirmativo, posso limitar o uso do disco de extração de alcatrão ou dar prioridade a todo o resto?

Estatística de E/S:

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.15    0.56    0.40   14.83    0.00   84.06

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
loop0             0.00         0.00         0.00       1907          2
sda             155.19       787.23      1484.89  604305327 1139862930
sdb             154.49       765.39      1493.48  587544552 1146456242
sdc             153.82       759.91      1485.53  583338594 1140353662
md4            1041.52      1861.40      4425.45 1428880721 3397151904
md3               4.78        46.70        11.08   35850458    8501904
md2               0.00         0.00         0.00       3641         98

TOPO:

PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
7194 root      20   0       0      0      0 D   5.0  0.0   0:17.38 
13811 user1  20   0  121272   1620   1464 D   4.3  0.0   0:02.20 tar

Especificações do servidor:

Intel Atom C2750, 8c/8t - 2,4 GHz/2,6 GHz, 16 GB DDR3 ECC 1600 MHz