主页 / ubuntu / 问题 / 900401
Accepted
mcExchange
Asked: 2017-04-06 01:40:47 +0800 CST

如何从 bash 中的 ASCII 文件数据计算平均值？

  • 772

在 bash 中，我可以从这样的日志文件中 grep 一些时间测量值

grep "time:" myLogfile.txt | cut -d' ' -f 3 >> timeMeasurements.txt

#timeMeasurements.txt
2.5
3.5
2.0
...

现在我想从 中的值计算平均值timeMeasurements.txt。在 bash 中最快的方法是什么？
我知道有 gnuplot 和 R，但似乎必须为它们中的任何一个编写一些冗长的脚本。

command-line

6 个回答

  1. 强制性GNU datamash版本

    $ datamash mean 1 < file
2.6666666666667

    旁白：感觉这确实应该可以在本地实现bc（即不使用外壳或外部程序来循环输入值）。GNUbc实现包括一个read()函数——然而，让它检测输入结束似乎非常困难。我能想到的最好的是：

    #!/usr/bin/bc

scale = 6
while( (x = read()) ) {
  s += x
  c += 1
}
s/c
quit

    然后，您可以通过管道传输文件输入，前提是您使用任何非数字字符终止输入，例如

    $ { cat file; echo '@'; } | ./mean.bc
2.666666
    • 13

  2. 你可以使用awk. Bash 本身数学不是很好...

    awk 'BEGIN { lines=0; total=0 } { lines++; total+=$1 } END { print total/lines }' timeMeasurements.txt

    笔记

    • lines=0; total=0将变量设置为 0
    • lines++lines每行加一
    • total+=$1将每行中的值添加到运行总计中
    • print total/lines完成后，将总数除以值的数量
    • 12
  3. Best Answer

    另一种方式，使用sedand bc：

    sed 's/^/n+=1;x+=/;$ascale=1;x/n' timemeasurements.txt | bc

    sed 表达式将输入转换为如下形式：

    n+=1;x+=2.5
n+=1;x+=3.5
n+=1;x+=2.0
scale=1;x/n

    这是通过管道bc逐行评估它的。

    • 11

  4. 改编此 U&L 帖子中的 R 命令：

    $ Rscript -e 'd<-scan("stdin", quiet=TRUE)' -e 'cat(mean(d), sep="\n")' < foo
2.666667
    • 8

  5. 您可以在循环中使用bc基本计算器：whileread

    count=0; sum=0; while read -r num; do ((count++)); sum=$(echo "$sum + $num" | bc); done < timeMeasurement.txt; echo "scale=2; $sum / $count" | bc -l

    或者更具可读性：

    count=0
sum=0
while read -r num
do
  ((count++))
  sum=$(echo "$sum + $num" | bc)
done < timeMeasurement.txt
echo "scale=2; $sum / $count" | bc -l

    解释：

    • 首先，我们将值的计数和总和设置为变量 count 和 sum，值为 0。
    • 逐行读取文件，将行中的值设置为变量num。我们使用构造while read -r num; do ... ; done < timeMeasurements.txt来做到这一点。这意味着我们将为文件的每一行做一些事情。
    • 在 while 循环中，使用 bash 算术为每一行将 count 变量加一((count++))。
    • $(...)使用带有echo管道的bash 命令替换bc将文件这一行的 num 变量的值添加到所有先前行的 num 变量的总和。bc被用作 bash 不能很好地处理浮点运算。

    至此循环结束，count变量包含时间测量值的数量，sum变量包含时间测量值的总和。

    • 与我们的变量一起使用echo来创建传递给的平均值计算bc。该scale=2部分说明bc要显示多少有效数字。
    • 5

  6. datamash 似乎是一个不错的选择，但即使承认我的回答可能有点矫枉过正，以防万一你想做的不仅仅是一个平均值，octave 也不是那么冗长：

    $ octave
octave:1> load timeMeasurements.txt 
octave:2> mean(timeMeasurements)
ans =  2.6667

    如果您使用均值，请记住相同的均值可能来自非常不同的行为，因此标准差通常也是相关的：

    octave:3> std(timeMeasurements)
ans =  0.76376

    甚至一个简单的直方图也很容易做到：

    octave:4> hist(timeMeasurements)

    另外，我认为 datamash 不在 apt-get 存储库中以供信任，仅适用于较新版本。

    编辑：

    Oneliner，对于脚本更友好的用法：

    octave -q --eval "m = load(\"timeMeasurements.txt\"); mean(m)"
    • 4

相关问题