主页 / unix / 问题 / 410784
Accepted
Đặng Thắng
Asked: 2017-12-14 17:53:16 +0800 CST

计算 2 行块的 uniq 实例[关闭]

  • 772

给定输入：

144.252.36.69
afrloop=32235330165603
144.252.36.69
afrloop=32235330165603
144.252.36.69
afrloop=32235330165603
222.252.36.69
afrloop=31135330165603
222.252.36.69
afrloop=31135330165603
222.252.36.69
afrloop=31135330165603
222.252.36.69
afrloop=31135330165603

我怎样才能输出：

144.252.36.69
afrloop=32235330165603 3 times
222.252.36.69
afrloop=31135330165603 4 times
uniq

2 个回答

  1. Best Answer
    paste - - < file | sort | uniq -c
    • 3

  2. awk如果您想要自定义输出格式，这是一个解决方案

    NR%2==1 {ip=$0; next}
NR%2==0 {a[ip"\n"$0]++}
END {
    for(i in a)
        printf "%s %d times\n", i, a[i]
}

    该脚本可以执行为

    awk -f main.awk file

    解释

    • 首先，我们使用NR%2==1匹配奇数行，因为奇数模 2 等于 1，如果任何行匹配此条件，则我们将整行保存$0到名为 的变量ip中。我们可以使用next跳过任何进一步的处理并直接进行下一次迭代。

    • 其次，我们NR%2==0用来匹配偶数行，如果一行匹配，那么我们创建一个标记为ip"\n"$0数组的索引，a并增加该特定索引的计数值。例如，等效的扩展就像

      a["144.252.36.69 afrloop=32235330165603"] += 1

      为了简单起见，我忽略了\n此示例中的新行

    • 最后END，在处理完每一行之后，我们使用for循环打印出数组中每个元素的值a，在我们的例子中，它是每个唯一索引的计数

    有趣的基准

    • 测试文件生成（100 万条记录）

      awk '
    BEGIN{for(i=1;i<10000000;i++)
    printf "%d\nafrLoop=%d\n", int(rand()*100), int(rand()*10)}
' > test

$ head test
23
afrLoop=2
84
afrLoop=1
58

    • @n.caillou 粘贴解决方案

      $ time paste - - < test | sort | uniq -c > /dev/null
real    0m11.250s
user    0m11.352s
sys     0m0.272s

    • awk 解决方案

      $ time awk -f main.awk test > /dev/null
real    0m5.673s
user    0m5.636s
sys     0m0.036s
    • 3

相关问题