Início / unix / Perguntas / 464278
Accepted
Daffy
Asked: 2018-08-23 16:43:29 +0800 CST

Lostup pode ser eficiente com arquivos esparsos?

  • 772

Então minha configuração é assim.

$ truncate -s 1T volume
$ losetup -f --show volume
/dev/loop0
$ mkfs.ext4 /dev/loop0
$ ls -sh volume
1.1G volume
$ mount /dev/loop0 /mnt/loop

Agora eu tenho um volume de 1,1 TB, como esperado. A sobrecarga do ext4 expandiu o arquivo esparso para 1,1 G, mas tudo bem. Agora para adicionar um arquivo.

$ dd if=/dev/urandom of=/mnt/loop/file bs=1M count=10240
$ ls -sh volume
12G volume

Legal, agora eu não quero o arquivo.

$ rm /mnt/loop/file
$ ls -sh volume
12G volume

O espaço livre ainda está ocupando espaço, como esperado, e $ fallocate -d volumelibera 1 gb.

Minha pergunta é: como posso zerar o espaço livre aqui sem expandir o volume para o tamanho total? $ dd if=/dev/zeroirá expandi-lo para o tamanho completo e, com conv=sparseisso, criar um arquivo esparso inútil dentro do volume.

TL; DR: Existe uma maneira de losetupignorar gravações de blocos nulos em setores nulos, permitindo todo o resto?

loop-device sparse-files

2 respostas

  1. Best Answer

    Para descartar automaticamente os blocos de dados quando eles não forem mais usados, use mount -o discard .... Ou você pode executar manualmente fstrim.

    Esse recurso foi aparentemente adicionado ao dispositivo de loop no Linux 3.2. https://outflux.net/blog/archives/2012/02/15/discard-hole-punching-and-trim/

    No caso geral, mount -o discardnão é garantido que seja eficaz, porque alguns tipos de dispositivos podem ignorar solicitações de descarte quando estão ocupados. Isso não seria uma preocupação para o tamanho do seu arquivo esparso.

    Nesse caso geral - por exemplo, se você também deseja enviar solicitações de descarte para um dispositivo físico subjacente - o método mais robusto é executar fstrimem intervalos regulares.

    • 2

  2. Não é uma solução usando ferramentas internas, mas criei um script python para fazer o que quero. Aqui está se ajudar alguém. Ainda procurando uma solução integrada, se houver.

    #!/usr/bin/python3.6
import os
import time
import sys

if len(sys.argv) != 2:
    print('''Usage: {} <file>

Fills a file/device with zeros, with efficiencies for sparse files.'''.format(sys.argv[0]))
    exit(1)

f = open(sys.argv[1], 'rb+', 0)

bs = 1024*1024 # block size
zb = b'\0'*bs  # a full block of zeros

lasttime = round(time.time())
block = f.read(bs)
while len(block) == bs:

    # IFF a block contains non-zero characters, zero it
    if block != zb:
        f.seek(-bs, os.SEEK_CUR)
        f.write(zb)
    block = f.read(bs)

    # Print the processed bytes every second
    # Could add a MB/s or % completed, but too lazy
    if round(time.time()) != lasttime:
        print(f.tell())
        lasttime = round(time.time())

# Hit EOF, might have missed bytes at the end
# Zero last block unconditionally, too lazy to check if its required
f.seek(-bs, os.SEEK_CUR)
f.write(zb)
f.close()
    • 0

relate perguntas