Início / unix / Perguntas / 426683
Accepted
Raffael
Asked: 2018-02-27 05:35:12 +0800 CST

Como medir o tamanho dos dados canalizados?

  • 772

Eu gostaria de fazer algo assim:

> grep pattern file.txt | size -h
16.4 MB

ou algo equivalente a:

> grep pattern file.txt > grepped.txt
> ls -h grepped.txt
16.4 MB
> rm grepped.txt

(isso seria um pouco inconveniente, no entanto)

Isso é possível?

pipe

4 respostas

  1. Best Answer

    Você pode usar wcpara isso:

    grep pattern file.txt | wc -c

    contará o número de bytes na saída. Você pode pós-processá-lo para converter valores grandes em um formato “legível por humanos” .

    Você também pode usar pvpara obter essas informações dentro de um pipe:

    grep pattern file.txt | pv -b > output.txt

    (exibe o número de bytes processados, em formato legível por humanos).

    • 36

  2. Você pode usar a ferramenta pipeviewer pvcom o sinalizador de contagem total de bytes -b:

    $ dd if=/dev/zero bs=3 count=4211 2>/dev/null | pv -b >/dev/null
12.3KiB

$ grep pattern file.txt | pv -b >/dev/null
    • 10

  3. O utilitário Pipe Viewer foi projetado para essa finalidade. Se não for flexível o suficiente para seus propósitos, você pode implementar seu próprio código de medição de transferência de dados FIFO com as chamadas de função da biblioteca de manipulação de pipeline ( libpipeline ), como pipeline_pump()e pipeline_peek_size(). 

    $ whatis pv
pv (1)               - monitor the progress of data through a pipe
$ pv -Wi 0.002 -cf /etc/hosts | wc -l
 367 B 0:00:00 [2.71MiB/s] 
[============================================================================>] 
100%
10
$
    • 3

  4. Pode-se criar rapidamente sua própria solução em Python:

    #!/usr/bin/env python
import sys

count = 0
while True:
    byte = sys.stdin.read(1)
    if not byte:
        break
    count =  count + 1

print(count)

    Funciona assim:

    $ echo "Hi" | ./count_stdin_bytes.py
3
$ echo "Hello" | ./count_stdin_bytes.py
6
$ dd if=/dev/zero bs=1 count=1024 2>/dev/null |  ./count_stdin_bytes.py 
1024

    Já que no seu caso particular você está lidando com dados de texto (a julgar pelo fato de que você canaliza de grep), você também pode usar bash's read. Algo assim:

    $ echo "Hello" | { while read -n 1 char; do ((count++)) ;done ; echo $count; }
6
    • 1

relate perguntas