主页 / unix / 问题 / 482778
Accepted
Siva
Asked: 2018-11-20 06:56:10 +0800 CST

使用 awk 的最后 n 个匹配项的平均值

  • 772

我的文件越来越大。while 将写入我的应用程序进程的日志。在该文件中，有一个“速度”日志，如下所示

(some text)
speed= 1x
(some text)
speed= 1x
(some text)
speed= 1x
(some text)
speed= 0.9x
..
..
(some text)
speed= 0.8x
(some text)

我试过下面的代码来获得速度的平均值。

 awk '/speed/ {gsub("x","");print $2}' $PROCESS_LOG_FILE | awk -F : '{sum+=$1} END {print sum/NR}'

是否有可能获得最后 120 个条目的平均值？我已经尝试过使用 grep 和 tail，但是自从它的文件不断增长以来它花了很长时间。

linux awk

4 个回答

  1. Best Answer

    可能有点牵强，但随着瞬时文件结束，您将定义必要的时间点，然后从那里倒退直到遇到 120 速度tac：lseek

    tac file | awk '/speed/ {SUM += $2; if (++C == 120) {print SUM/C; exit}}'

    或者处理可能出现少于 120 次模式的输入：

    tac file | awk '/speed/ {SUM += $2; if (++C == 120) exit}
                END {if (C) print SUM/C}'
    • 2

  2. 为此，我会使用 perl 而不是 awk：只需记住最后 120 个速度就非常简单：

    perl -MList::Util=sum -nE '
    if (/speed= ([\d.]+)/) {@speeds = ($1, @speeds)[0..119]} 
    # could also write:
    #   if (/speed= ([\d.]+)/) {push @speeds, $1; shift @speeds if @speeds > 120}

    END {say @speeds == 0 ? "No matches" : sum(@speeds)/@speeds}
' speed.log
    • 1

  3. 这对你有用吗？

    grep speed test | tail -n 120 | cut -d " " -f 2 | cut -d "x" -f 1 | awk -F : '{sum+=$1} END {print sum/NR}'

    我只是将您的输入放入一个名为的文件test中并运行它。输出：

    0.94

    但是，无法确定大文件的性能。

    • 0

  4. 您必须使用圆表，这是一个包含最后 5 个值的示例代码

    BEGIN { maxi=5 ; c=0 ; nb=0 ;  }
/^speed/ { list[nb++]=$2 ; nb=nb % maxi ;
   c++ ; if (c> maxi) c=maxi ;
   s=0 ;
   for(i=0;i<=c;i++) s+=list[i] ;
   printf "NR: %d, c=%d, s=%d AVG : %3.2f\n",NR,c,s,s/c ;
}

    您可以在示例文件上进行测试（或在命令行上测试要在命令行上输入的值）。

    awk -f avg.awk sample.txt

    然后将 5 替换为 120，然后printf按适合您的行。

    请注意，+=$2将忽略尾随x。

    • 0

相关问题