主页 / unix / 问题 / 426683
Accepted
Raffael
Asked: 2018-02-27 05:35:12 +0800 CST

如何测量管道数据的大小？

  • 772

我想做这样的事情：

> grep pattern file.txt | size -h
16.4 MB

或相当于：

> grep pattern file.txt > grepped.txt
> ls -h grepped.txt
16.4 MB
> rm grepped.txt

（虽然这会有点不方便）

那可能吗？

pipe

4 个回答

  1. Best Answer

    您可以wc为此使用：

    grep pattern file.txt | wc -c

    将计算输出中的字节数。您可以对其进行后期处理以将大值转换为“人类可读”格式。

    您还可以使用pv在管道内获取此信息：

    grep pattern file.txt | pv -b > output.txt

    （这显示处理的字节数，以人类可读的格式）。

    • 36

  2. 您可以将 pipeviewer 工具pv与总字节数标志一起使用-b：

    $ dd if=/dev/zero bs=3 count=4211 2>/dev/null | pv -b >/dev/null
12.3KiB

$ grep pattern file.txt | pv -b >/dev/null
    • 10

  3. Pipe Viewer实用程序就是为此目的而设计的。如果它对您的目的不够灵活，那么您可以使用管道操作库 ( libpipeline ) 函数调用（例如pipeline_pump()和）来实现自己的 FIFO 数据传输测量代码pipeline_peek_size()。 

    $ whatis pv
pv (1)               - monitor the progress of data through a pipe
$ pv -Wi 0.002 -cf /etc/hosts | wc -l
 367 B 0:00:00 [2.71MiB/s] 
[============================================================================>] 
100%
10
$
    • 3

  4. 可以在 Python 中快速构建自己的解决方案：

    #!/usr/bin/env python
import sys

count = 0
while True:
    byte = sys.stdin.read(1)
    if not byte:
        break
    count =  count + 1

print(count)

    像这样工作：

    $ echo "Hi" | ./count_stdin_bytes.py
3
$ echo "Hello" | ./count_stdin_bytes.py
6
$ dd if=/dev/zero bs=1 count=1024 2>/dev/null |  ./count_stdin_bytes.py 
1024

    由于在您的特定情况下您正在处理文本数据（从您通过管道传输的事实来看grep），您也可以使用bash's read。像这样的东西：

    $ echo "Hello" | { while read -n 1 char; do ((count++)) ;done ; echo $count; }
6
    • 1

相关问题