主页 / unix / 问题 / 567764
Accepted
Peeyush Kushwaha
Asked: 2020-02-16 04:27:30 +0800 CST

`wc -l` 显示计数的替代方法，因为它接收到行

  • 772

我wc -l用来计算命令输出中的行数，因为输入是通过管道传递给它的。

commad | wc -l

这工作正常，但如果command正在做一些繁重的计算，这会很慢。是否有替代方法显示“到目前为止已通过管道传输”的行数？

当我进行某种逐项计算时，这样的事情会特别有用，比如

cat something | xargs -L1 heavy-per-line-computation | wc -l

我可以手动执行此操作的一种方法是将输出通过管道传输到文件 ( command > file) 并定期cat file | wc -l对其执行。但是一个命令（它不重定向到文件，以避免浪费 I/O）是我所追求的。

shell performance

4 个回答

  1. Best Answer
    awk '{print NR}'

    此命令为遇到的每一行打印一个新数字。如果最后一行是完整的，那么最后一个数字将与所说的一致wc -l。如果最后一行不完整，那么awk可以计算它（在我的 Kubuntu GNUawk中）但wc -l不会（因为它确实计算换行符）；所以可能存在差异。

    另一个差异是如果输入完全为空：wc -l将打印0，我们awk将不打印任何内容。要使其打印，请0使用此变体：

    awk '{print NR} END {if (NR==0) print NR}'

    或者，也许您希望每个新号码都覆盖控制台同一行中的旧号码。然后这个：

    awk '{printf "\r%s",NR} END {print "\r"NR}'

    例子：yes | head -n 76543 | awk '{printf "\r%s",NR} END {print "\r"NR}'

    请注意，该命令会消耗其输入（tee可能很方便）。出于监控目的，您可能对以下内容感兴趣：

    awk '{print NR OFS $0}'

    其中（默认OFS为空格）几乎就像cat -n（如果您cat支持-n）。

    pv -l计算行数，它可以在管道内使用。例子：

    for i in 1 2 3 4 5; do date; sleep 1; done | pv -l | wc -l

    考虑pv -lb相当少的输出。

    • 8

  2. 这是使用 Ruby 的解决方案。

    count_linesstderr最多每半秒打印一次 (via ) 到目前为止收到的行数，以及最后的总计数 (via stdout)。

    read -d '' make_lines <<'EOF'
  STDOUT.sync = true
  [0.2, 0.1, 0.5, 0.1, 0.6, 0.1, 0.3, 0.1, 0.3, 0.01, 0.01].each do |t|
    puts
    sleep t
  end
EOF

read -d '' count_lines <<'EOF'
  lines = 0
  t = 0
  while gets do
    lines += 1
    now = Time.now.to_f
    if now - t > 0.5
      warn lines
      t = now
    end
  end
  puts lines
EOF

ruby -e "$make_lines" | ruby -e "$count_lines"
    • 2

  3. 我认为您正在寻找pv（管道视图）：

    seq 100000000000 | pv -l | wc -l
    • 2

  4. 大多数终端都采用CR (\r)“移至第 1 列”。这使您可以继续覆盖以前的输出。

    dwc这是一个将从 stdin 读取的脚本（可以是tail -f来自文件，也可以来自输出进程替换）。脚本中有一个示例测试台。

    它需要一个-l选项。默认是将输入行号打印到终端中的当前行，为六个数字。使用-l，它还会打印收到的最后一行的前 60 个字符，清除之前的任何文本。当它看到 EOF 时，它会发出换行符，因此提示出现在最后一个输出下方。

    #! /bin/bash

#.. dwc [-l]

AWK_SHORT='
BEGIN { Fmt = "\r%6d "; }
{ printf (Fmt, NR); }
END { printf ("\n"); }
'

AWK_LONG='
BEGIN { Fmt = "\r%6d  %.60s"; Clr = sprintf ("%60s", ""); }
{ printf (Fmt, NR, $0 Clr); }
END { printf ("\n"); }
'
    if [[ "${1}" = "-l" ]]; then
        awk "${AWK_LONG}"
    else
        awk "${AWK_SHORT}"
    fi

    exit

    #.. Test method.
    man ls | head -n 40 |
         while IFS='' read X; do
             printf '%s\n' "${X}"; sleep 0.75
         done |
         tee >( ./dwc -l ) > foo.txt
    • 0

相关问题