user447274's questions

No arquivo groupAfiles.txtestão as linhas:

file14
file2
file4
file9

Preciso de uma maneira de convertê-los para remover filee adicionar /dev/loope colocá-los todos em uma linha com um espaço entre eles.

/dev/loop14 /dev/loop2 /dev/loop4 /dev/loop9

Então preciso colocar isso em uma matriz.

(mas os números mudam)

Como faço isso?

No Linux em Bash em um loop for eu faço:

... ; do echo "$i --> $i-new" ; ...

A saída é algo como isto:

file1  -->  file1-new
file2  -->  file2-new
...
file9  -->  file9-new
file10  -->  file10-new
file11  -->  file11-new

como se tornar uma saída como esta:

file1   -->   file1-new
file2   -->   file2-new
...
file9   -->   file9-new
file10  -->  file10-new
file11  -->  file11-new

?

Com

awk '{ printf "%-15s %s\n", $1, $2 }' renamed | sort -V

... Obtenho uma boa saída do arquivo renamed.

Parece que:

file1           file1.new

Mas eu quero que a saída seja alterada para isto:

file1           -->  file1.new

Quero adicionar --> na posição 15 em cada linha.

Como fazer isso?

tar -I pixz -cf foo.tar.xz ./foocomprimir o material.

tar -I pixz -xf foo.tar.xzdescompacte o Stuff.

E com ele pixz -l foo.tar.xzvem uma lista do conteúdo.

Como posso fazer isso com ( mc) Midnight Commander?

Se eu selecionar foo.tar.xze mcpressionar Enter, não aparece nada.

O uso da CPU fica alto por um momento, mas nada acontece, nenhum erro.

Normalmente mcé possível abrir arquivos compactados assim?

Como posso mcabrir e navegar em um .tar.xzarquivo indexado?

Estou pensando em mudar o sistema de arquivos na minha unidade de dados de ext4 para btrfs porque o btrfs pode fazer compactação e o espaço de armazenamento acabará em algum momento.

Vi que o btrfs pode fazer compressão com zlib, lzo e zstd.

https://btrfs.readthedocs.io/en/latest/Compression.html

Como posso fazer alguns testes para ver como a compressão pode ser realizada?

Existe alguma maneira de gravar os dados em /dev/null ou algo assim e contar os bytes pelos quais eles passam lá?

Como posso fazer alguns testes com os diferentes compressores (zlib, lzo e zstd) sem escrever, mas observando o quanto pode ser comprimido?

Eu executo este comando:

ls -1 | xargs -I% -n1 -P8 myprogramm -s1 -r5 -q -o %.dat %

ele funciona com 8 execuções ao mesmo tempo, a -qopção no meu programa para sair, está ok, então.

mas adicionarei algo assim ; echo %para se tornar o nome de saída na tela se a execução do programa for concluída, para cada execução.

Eu executo este comando:

ls -1 | xargs -I% -n1 -P8 myprogramm -s1 -r5 -q -o %.dat % ; echo %

Não vejo erros, mas a saída não é o que eu queria.

vejo que depois que todas as execuções são concluídas no bash, apenas uma nova linha com apenas um sinal,%

mas terei a saída como:

file1
file2
file3
...

%= fileN é que com xargs roda os jobs, como fica essa saída?

como verificar se o caminho de onde o script foi iniciado está armazenado em uma unidade de disco rígido ou SSD?

Eu li esse cat /sys/block/sda/queue/rotationalprograma 0para SSD e 1HDD.

if [ "$(</sys/block/sda/queue/rotational)" = 0 ]; then
    echo "SSD"
else
    echo "HDD"
fi

mas como isso pode ser combinado com .ou $PWDpara verificação?

em uma pasta há arquivos de file1para fileX. X é para às vezes vai de file1para file21. e às vezes vai de file1para file55. como executar um script ou uma linha para criar 4 grupos (AD) / 4 listas, filegroupA.txt filegroupB.txt filegroupB.txt filegroupD.txt mas os nomes dos arquivos devem ser escolhidos aleatoriamente e não classificados nos arquivos .txt

filegroupA.txt

file2
file18
file7
file13
file4
...

filegroupB.txt

...

editar:

os nomes não possuem caracteres especiais.

eles estão todos com o mesmo esquema, fileX e fileXX.

não há subdiretórios também.

a saída mínima para um arquivo filegroupX deve ser 4.

nunca há menos de 20 arquivos fileXX.

a rotulagem AD em letras maiúsculas não é um requisito rigoroso, serve apenas para melhor leitura, mas não é um recurso obrigatório.

No bash, executarei um script que dará uma olhada na pasta folder123/para saber quanto espaço é necessário para os arquivos que estão lá. Mas esse valor necessário será multiplicado 1,5e, em seguida, subtraído do espaço disponível. . Se houver espaço disponível suficiente, continuarei no script, mas se não houver, exibirei um erro.

para verificar quanto espaço é necessário, tento isso

du -b folder123/ | tail -n 1 | awk '{print $1}'

para verificar quanto espaço está disponível, eu descubro isso

df --output=avail -B 1 "$PWD" |tail -n 1

mas como multiplicar o requerido 1,5e depois subtrair do disponível, no script bash?

:editar

se eu usar algo como

avail=$(df --output=avail -B 1 . | tail -n 1)
req=$(( $(du -sb tempdir/ | cut -f1) * 3 / 2))
sum=$(printf '%d\n' "$((avail - req))")

mas como então verificar se $sum está ok?

há um script, 1.sh. 1.shcomeça 1a.she então1b.sh

mas como sair de todos os scripts, como sair 1.she como não iniciar 1b.shse 1b.shquebrar com um erro?

Com find, verificarei se algum arquivo(s) com tamanho mínimo de 1 byte existe no diretório ine, caso contrário, sairei.

Eu tentei algo assim, mas não funciona

find ./in/ -type f -iname '*' -size 1c &> /dev/null
if [ "$?" != 0 ]
then
    echo file size is under 1 byte, aborting...
fi

Quero executar um comando N vezes em paralelo usando bash e xargs em um sistema Linux. O comando é:

for i in `seq 1 $(howmany.txt)`; do aprogramm --file file$i.dat ; done

O arquivo howmany.txtcontém o valor 100e ntimes.txtcontém o valor 5.

Os arquivos file1existem file100, em sequência de 1 a 100, e eu quero processá-los 5 de cada vez em paralelo. Como faço isso com xargs?

Como verificar quanto espaço está livre no diretório de trabalho atual em um sistema Linux?

Tenho um filesizearquivo que contém 1073741824a quantidade de espaço em disco em bytes necessária.

Preciso de algo para verificar em um script que na pasta estão contents-of-filesize * 1,25 bytes livres. Como fazer isso?

pwdpode imprimir o caminho da pasta atual, mas como combiná-lo com df?

Para juntar arquivos/dispositivos Linux em modo linear, eu tenho este script dm-joinlinear.shde

junte arquivos/dispositivos em modo linear em um sistema Linux , obrigado telcoM

#!/bin/sh
usage() {
    echo "Usage: ${0##*/} <target name> <component...>" >&2
    exit 64 # EX_USAGE
}
if [ "$1" = "" ] || [ "$1" = "-h" ] || [ "$1" = "-?" ] || [ "$1" = "--help" ]
then
    usage
fi

if [ -e "/dev/mapper/$1" ]
then
    echo "ERROR: target $1 already exists." >&2
    exit 73 # EX_CANTCREAT
fi
MAPNAME="$1"
shift

DMMAP=$(mktemp)
trap "rm -f $DMMAP" EXIT

sum=0
while [ "$1" != "" ]
do
    if [ ! -e "$1" ]
    then
        echo "ERROR: $1 does not exist"
        exit 66 # EX_NOINPUT
    fi
    if [ ! -b "$1" ]
    then
        echo "ERROR: $1 is not a block device"
        exit 69 # EX_UNAVAILABLE
    fi
    srcN="$1"
    sizeN=$(blockdev --getsz "$srcN")
    echo "$sum $sizeN linear $srcN 0" >>$DMMAP
    sum=$(expr $sum + $sizeN)
    shift
done
dmsetup create $MAPNAME < $DMMAP

eu executo o script com

./dm-joinlinear.sh one /dev/loop? /dev/loop??

ou

./dm-joinlinear.sh one /dev/mapper/file? /dev/mapper/file??

/dev/loop0 and /dev/mapper/file1 are the same
/dev/loop1 and /dev/mapper/file2 are the same
....
/dev/loop32 and /dev/mapper/file33 are the same

posso executar o script com

dm-joinlinear.sh one /dev/loop[0-9] /dev/loop[1-2]? /dev/loop3[0-2]

ou

dm-joinlinear.sh one /dev/loop0 /dev/loop1 /dev/loop2 .... and so on up to /dev/loop32 (to long to write all down here all)

ou o mesmo com remove "loop" e use mapper/file , mas começando em 1 e não em 0

eu prefiro o caminho com /dev/mapper/file em vez de /dev/loop

mas como posso dizer dm-joinlinear.shquantos dispositivos eles precisam ingressar? o valor está emparts.txt

Para teste eu crio no meu sistema Linux o arquivo list.txt. Nele existem números como:

4 1 5 2 3

(às vezes há mais ou menos números)

Como executo esses números com fallocate?

fallocate -l 1stnumberG file1
fallocate -l 2ndnumberG file2
fallocate -l 3rdnumberG file3
....

eu penso em algo como

declare -i counter ; counter=1 ; for i in "'seq 1 $(wc -w list.txt | cut -c 1)'" ; do fallocate -l ${i}G "file$counter" ; (( ++ counter )) ; done
fallocate: unerwartete Anzahl an Argumenten

declare -i counter ; counter=1 ; for i in "'seq 1 $(wc -w list.txt | cut -c 1)'" ; do fallocate -l ${i}G "file$counter" ; (( ++ counter )) ; done < $(cat list.txt) 
V: $(cat list.txt): Mehrdeutige Umlenkung.

mas eu não trabalhei....

Para testar a junção de 3 arquivos linearmente em meu sistema Linux, eu faço:

fallocate -l 100M file1.image
fallocate -l 150M file2.image
fallocate -l  50M file3.image

e então eu corro losetup:

losetup /dev/loop1 file1.image
losetup /dev/loop2 file2.image
losetup /dev/loop3 file3.image

Encontrei este script para juntar dois arquivos:

#!/bin/sh
# Join 2 devices together
size1=`blockdev --getsz $1`
size2=`blockdev --getsz $2`
echo "0 $size1 linear $1 0
$size1 $size2 linear $2 0" | dmsetup create joined

E eu começo com

./join.sh /dev/loop1 /dev/loop2

funciona com dois dispositivos, eles são unidos em um:

lsblk
NAME               MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINTS
loop1                7:1    0   100M  0 loop
└─joined           253:10   0   250M  0 dm
loop2                7:2    0   150M  0 loop
└─joined           253:10   0   250M  0 dm

Em seguida, removo o dispositivo "ingressado" dmsetup remove joinede ajusto o script para três arquivos de dispositivo:

#!/bin/sh
# Join 3 devices together
size1=`blockdev --getsz $1`
size2=`blockdev --getsz $2`
size3=`blockdev --getsz $3`
echo "0 $size1 linear $1 0
$size1 $size2 linear $2 0
$size2 $size3 linear $3 0"  | dmsetup create joined

comece com

./join.sh /dev/loop1 /dev/loop2 /dev/loop3
device-mapper: reload ioctl on joined (253:10) failed: Das Argument ist ungültig
Command failed.

Mas falha com o erro acima. O que estou fazendo de errado?

dmesg

device-mapper: table: 253:10: linear: Gap in table (-EINVAL)
device-mapper: ioctl: error adding target to table

no

https://stackoverflow.com/questions/4519761/programming-a-loopback-device-consisting-of-several-files-in-linux

Encontrei uma maneira de mdadmjuntar linearmente e quando tentei funcionou. Eu fiz:

dd if=/dev/zero bs=1M count=100 of=a.img
dd if=/dev/zero bs=1M count=50 of=b.img
dd if=/dev/zero bs=1M count=150 of=c.img
losetup -f
/dev/loop0
for i in a b c; do losetup -f $i.img; done
mdadm --build /dev/md0 -l linear -n 3 /dev/loop[012]
mdadm: array /dev/md0 built and started.
cat /proc/mdstat 
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] 
md0 : active linear loop2[2] loop1[1] loop0[0]
      307200 blocks super non-persistent 64k rounding

unused devices: <none>

lsblk
NAME               MAJ:MIN RM   SIZE RO TYPE   MOUNTPOINTS
loop0                7:0    0   100M  0 loop
└─md0                9:0    0   300M  0 linear
loop1                7:1    0    50M  0 loop
└─md0                9:0    0   300M  0 linear
loop2                7:2    0   150M  0 loop
└─md0                9:0    0   300M  0 linear

Por que o dmsetupmétodo não funciona com 3 dispositivos?

Qual é a diferença entre as formas dmsetupe mdadm?

Para que é dmsetup...?

E é mdadmpara ataque?

Fiz um raid0 com 3 tamanhos de disco diferentes? isso é possível?

No meu sistema Linux, tenho um arquivo "1gb.file" com 1073741824 bytes de tamanho.

Colocarei este arquivo em um contêiner LUKS ("1gb.file.crypt") com sistema de arquivos ext4 dentro.

Qual o tamanho que o arquivo "1gb.file.crypt" deve ter para que haja espaço suficiente dentro para o luksformatsistema de arquivos ext4 (eu farei mkfs.ext4 -m 0) no arquivo luksdevice.

Como obter espaço suficiente no sistema de arquivos ext4 para poder colocar meu arquivo de 1073741824 bytes dentro, como calcular isso?

Qual o tamanho do contêiner se eu tiver um arquivo de 3 ... 7 ou 10 GB em um contêiner LUKS com sistema de arquivos ext4?

Como calcular?

Alguns MBs restantes e livres dentro do contêiner e no sistema de arquivos ext4 estão OK, mas não quero ter centenas de MBs livres.

Não sei se é relevante, mas o arquivo e o contêiner são somente leitura.

Ou devo tornar o contêiner grande o suficiente e reduzi-lo depois que o arquivo estiver lá de uma maneira melhor? Mas como fazer isso?

Tenho um arquivo em uma máquina Linux, com um número por linha:

 3073771824
 1513517589
 4982173058
 1539400944
 3175320163
 5247018359
14359014635
....

Como posso multiplicar cada um por 1,03 (3%) e depois arredondar o resultado, retirando a vírgula? Por exemplo:

 3073771824 * 1,03 = 3165984978,72 | I would have the result 3165984979
 1513517589 * 1,03 = 1558923116,67 | I would have the result 1558923117
....

Eu sei que o awk pode arredondar:

echo 2.5 | awk '{print int($1+0.5)}'

arredonda para 3, mas há "." e não ",".

pequeno roteiro

#!/bin/sh

cat /dev/urandom | tr -dc 'a-zA-Z0-9' | fold -w 24 | head -n 4

printf 'do you like this? (y/n)? '
read answer
if [ "$answer" != "${answer#[Yy]}" ] ;then
    echo Yes
else
    echo No
    goto?!? jumpto?!? urandom line
fi

ele lê urandom e pergunta se está tudo bem, se sim o script termina.

se não, vou ler e perguntar novamente - como fazer isso?

eu preciso ir? ou jumpto ou qualquer outra coisa?

Eu tenho uma longa lista de nomes de arquivos como 20231121_150111.jpg... em um arquivo de texto (um nome de arquivo por linha).

E outra lista de diretórios. Esses diretórios contêm arquivos.

Como posso verificar e mostrar quais arquivos da minha lista não existem em nenhum dos diretórios?

: editar

nomes de arquivos.txt:

20230326_163243.jpg
20230326_163244.jpg
20230326_163245.jpg
....

crie com "ls -1"

diretórios.txt:

./2017/2017_3/DSC_0559.JPG
./2017/2017_3/DSC_0067.JPG
./2017/2017_3/DSC_0195.JPG
....

crie com "find ./ > directory.txt"

se eu executar o script no bash

#! /bin/bash -
readarray -td '' missing < <(
  export LC_ALL=C
  comm -z -23 <(<filenames.txt tr '\n' '\0' | sort -zu) \
              <(<directories.txt tr '\n' '\0' |
                  sort -zu |
                  find -H -files0-from - -mindepth 1 -maxdepth 1 -printf '%f\0' |
                  sort -zu
              )
)
if (( ${#missing[@]} )); then
  printf '%s\n' "Couldn't find:"
  printf ' - %s\n' "${missing[@]}"
fi

vejo muitos resultados de:

 - 20230716_103851.jpg
 - 20230716_103852(0).jpg
 - 20230716_103852.jpg
....

meus nomes de arquivos e diretórios estão errados? ou o que estou fazendo de errado?

eu tenho uma pasta com muitas subpastas e imagens nela. eu tenho uma outra pasta com muitos arquivos jpg. a maioria dos arquivos jpg está em subpastas, mas não todos. preciso de uma maneira de mostrar o que não está nas subpastas

filenames.txt: muitos arquivos jpg

directories.txt : as subpastas com a maioria dos arquivos nela