问题[awk](computer)

我想仅打印选定的lsof输出列
$1,$2,$3,$5,$8,$10
，并在打印所有初始输出列时使用uniq -c该列。PID

我在 macOS 上。我正在使用awk, sort,uniq -c

我将我的机器的 IP 地址存储在一个变量中：$ETH_IP

ETH_IP="192.168.10.191" && echo $ETH_IP
192.168.10.191

这是我当前的命令，带有一些格式及其结果：

(lsof -alP -Ts -i @"$ETH_IP" -s TCP:ESTABLISHED,LISTEN,CLOSE_WAIT +c0 |sed 's|\\x20|_|g' |awk '{print $1,$2,$3,$5,$8,$10}' |column -t)                                     
COMMAND                      PID    USER  TYPE  NODE
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
Mail                         668    501   IPv4  TCP   (ESTABLISHED)
GitHub_Desktop_Helper        1196   501   IPv4  TCP   (ESTABLISHED)
GitHub_Desktop_Helper        1196   501   IPv4  TCP   (ESTABLISHED)
com.apple.WebKit.Networking  12635  501   IPv4  TCP   (ESTABLISHED)
com.apple.WebKit.Networking  12635  501   IPv4  TCP   (ESTABLISHED)
com.apple.WebKit.Networking  12635  501   IPv4  TCP   (ESTABLISHED)
com.apple.WebKit.Networking  12635  501   IPv4  TCP   (ESTABLISHED)
com.apple.WebKit.Networking  12635  501   IPv4  TCP   (ESTABLISHED)
com.apple.WebKit.Networking  12635  501   IPv4  TCP   (ESTABLISHED)
com.apple.WebKit.Networking  12635  501   IPv4  TCP   (ESTABLISHED)
com.apple.WebKit.Networking  12635  501   IPv4  TCP   (ESTABLISHED)
com.apple.WebKit.Networking  12635  501   IPv4  TCP   (ESTABLISHED)
com.apple.WebKit.Networking  12635  501   IPv4  TCP   (ESTABLISHED)
com.apple.WebKit.Networking  12635  501   IPv4  TCP   (ESTABLISHED)
com.apple.WebKit.Networking  12635  501   IPv4  TCP   (ESTABLISHED)
com.apple.WebKit.Networking  12635  501   IPv4  TCP   (ESTABLISHED)
com.apple.WebKit.Networking  12635  501   IPv4  TCP   (ESTABLISHED)
Dropbox                      74706  501   IPv4  TCP   (ESTABLISHED)
Dropbox                      74706  501   IPv4  TCP   (ESTABLISHED)
Dropbox                      74706  501   IPv4  TCP   (ESTABLISHED)
DropboxFileProvider          74707  501   IPv4  TCP   (ESTABLISHED)
DropboxFileProvider          74707  501   IPv4  TCP   (ESTABLISHED)
DropboxFileProvider          74707  501   IPv4  TCP   (ESTABLISHED)

我想使用类似 的内容| sort | uniq -c | sort -n。
使用第 2 列 (PID) 中的值uniq。
使用awk并保留如上所示的多列格式。
因此，每个进程只有一个列表，行前面列出了原始行的数量。

我正在寻找的模型。

COMMAND                         PID    USER  TYPE  NODE  
18 Mail                         668    501   IPv4  TCP                (ESTABLISHED)
 2 GitHub_Desktop_Helper        1196   501   IPv4  TCP                (ESTABLISHED)
 2 Code_Helper                  1493   501   IPv4  TCP                (ESTABLISHED)
14 com.apple.WebKit.Networking  12635  501   IPv4  TCP                (ESTABLISHED)
 3 Dropbox                      74706  501   IPv4  TCP                (ESTABLISHED)
 2 DropboxFileProvider          74707  501   IPv4  TCP                (ESTABLISHED)    

我面临的问题是 HEADER 行也被计算在内uniq -c

(lsof -alP -Ts -i @"$ETH_IP" -s TCP:ESTABLISHED,LISTEN,CLOSE_WAIT +c0 |sed 's|\\x20|_|g' |awk '{print $1,$2,$3,$5,$8,$10}' |column -t) | sort -k 2,2 | uniq -c | sort  -n -k 3,3
   1 COMMAND                      PID    USER  TYPE  NODE
   3 accountsd                    667    501   IPv4  TCP   (ESTABLISHED)
  16 Mail                         668    501   IPv4  TCP   (ESTABLISHED)
   2 GitHub_Desktop_Helper        1196   501   IPv4  TCP   (ESTABLISHED)
  12 com.apple.WebKit.Networking  12635  501   IPv4  TCP   (ESTABLISHED)
   2 Dropbox                      74706  501   IPv4  TCP   (ESTABLISHED)
   2 DropboxFileProvider          74707  501   IPv4  TCP   (ESTABLISHED)

这个想法来自于这个命令及其输出。

lsof -alP -Ts -i @"$ETH_IP"  -s TCP:ESTABLISHED,LISTEN,CLOSE_WAIT  +c0 | awk 'NR>2{print $1}' | sort | uniq -c | sort -n
   1 CloudTelemetryService
   1 cloudd
   2 Dropbox
   2 DropboxFileProvider
   2 GitHub\x20Desktop\x20Helper
  14 com.apple.WebKit.Networking
  17 Mail

假设我有一个文件，它只是一个包含日期和名称的列表，我需要查找该列表中重复次数最多的“团队名称”？球员姓名位于位置 $1 和球队位置 $2。

我正在尝试使用 awk？那么，怎么说“查看桌子上的位置 2 并检查哪个单词最常用？”就这么简单，我看到人们使用 uniq -c ，但在我的课堂上我们还没有讨论过它。谢谢

这是一个文件示例：

Player | team 
DiMaria Benfica
Otamendi Benfica
Robertocarlos Madrid
JoaoFelix Benfica
Cristiano Sporting
Maldini Milan 

我该如何编码才能表明本菲卡是表现更多的球队？谢谢。

我有一个包含数百万行的文本文件。有些行包含相同的字母数字序列，但大小写和标点符号不同。我认为这些行是重复的。我想删除任何包含句点的重复行，但保留另一行（另一行通常包含下划线或破折号等标点符号）

输入：

000
111
12_34
12.34
123-456-789
123.456.789
A.B.C
a_b_c
qwerty
qwertx
abcdefghijklm.nopqrstuvwxy.z
a-B-cdeFghiJklmNopqRStuvwxy__Z
22.2
33.3

期望的输出：

000
111
12_34
123-456-789
a_b_c
qwerty
qwertx
a-B-cdeFghiJklmNopqRStuvwxy__Z
22.2
33.3

我正在处理位于不同目录中的大量 csv 数据文件的后处理。每个 csv 文件具有以下 3 列格式：

ID, POP, dG
1, 24, -6.8100
2, 22, -6.7900
3, 11, -6.6800
4, 18, -6.1100
5, 5, -6.0700
6, 1, -6.0600
7, 11, -6.0300
8, 36, -6.0100

以下 bash 函数包含 awk 代码，该代码一次计算所有已处理 CSV的 dG（第 3 列，始终为负浮点数）的最小值以及 POP（第 2 列 2，为正）值的最大值并存储它在第二个 awk 脚本使用的新 bash 变量最高POP最低DG中（此处不考虑）：

home="$PWD"
# folder with the outputs
rescore="${home}"/rescore 
# folder with the folders to analyse
storage="${home}"/results_bench
cd "${storage}"
# pattern of the csv file located inside each of sub-directory of "${storage}"
str='*str1.csv'
rescore_data4 () {
str_name=$(basename "${str}" .csv)
mkdir -p "${rescore}"/"${str_name}"
# 1- calculate max POP and dGmin for ALL rescored CSVs at once
read highestPOP lowestDG < <(
    awk -F ', ' '
        FNR == 1 {
            next
            }
        NR == 2 || $2 > popMAX {popMAX = $2}
        NR == 2 || $3 < dGmin  {dGmin  = $3}
        END {printf "%d %.2f\n", popMAX, dGmin}
    ' "${storage}"/*_*_*/${str}
)
#
# 2- run rescoring routine using the min/max values
awk -F', *' -v OFS=', ' -v highest_POP="${highestPOP}" -v lowest_dG="${lowestDG}" '
   ... some awk code
'
}

在第一个 awk 脚本中，$str 是位于不同目录中的目标 csv 文件的 glob 掩码（匹配 glob 模式“ _ _*”）虽然这通常有效，但第一个 AWK 代码中有一个错误（用于计算 min/所有已处理 CSV 的最大值）：有时在输入 CSV 数量大/包含许多行的情况下，无法计算最低 DG 的值。问题总是与计算 dg 变量（始终为负）有关，脚本报告 dg=0.000，这是不正确的。

为了解决这个问题，我尝试修改 AWK 代码，在开始时定义两个新变量（具有最小值和最大值），然后将列中的每个值与它们进行比较：

   read highestPOP lowestDG < <(
    awk -F ', ' '
        FNR == 1 {
            dGmin = ""                              # initialize the min value
            POPmax = ""   
            next
            }
        NR == 2 || POPmax == "" || $2 > POPmax {POPmax = $2 }
        NR == 2 || dGmin == "" || $3 < dGmin  {dGmin  = $3 }
        END {printf "%d %.2f\n", POPmax, dGmin}
    ' "${storage}"/*_*_*/${str}
)

现在，从技术上讲，它可以工作，但似乎第二个解决方案没有正确报告最小值和最大值。如何正确修复 awk 脚本？

以下用 bash 编写的函数包含对多列数据执行数学运算的 AWK 代码，并最终将结果保存在所有已处理 CSV 的输出文件中。

home="$PWD"
# folder with the outputs
rescore="${home}"/rescore 
# folder with the folders to analyse
storage="${home}"/results_bench
cd "${storage}"
# pattern of the csv file located inside each of sub-directory of "${storage}"
str='*str1.csv'

     rescore_data3 () {
str_name=$(basename "${str}" .csv)
mkdir -p "${rescore}"/"${str_name}"
# loop all directories contained target csv file
while read -r d; do
awk -F', *' -v OFS=', ' '
    FNR==1 {
        if (suffix)                             # suppress the empty line
            printf "%s %.3f (%d)\n", suffix, dGmin, dGminid
                                                # report the results for dGmin
        dGmin = ""                              # initialize the min value
        path=FILENAME
        sub(/\/[^/]+$/,"",path)
        prefix=suffix=FILENAME
        sub(/_.*/, "", prefix)
        sub(/\/[^\/]+$/, "", suffix); sub(/^.*_/, "", suffix)
        if (FNR==NR)
            print "lig(CNE)" " " "dG(" prefix ")" " " "ClusterID"        # print the header line
        next
    }
    {
        dG = sqrt((($3+10)/10)^2+(($2-100)/100)^2)
        if (dGmin == "" || dG < dGmin) {
            dGmin = dG                          # update the min dG value
            dGminid = $1                        # update the ID with the min dG
        }
    }
    END {
        printf "%s %.3f (%d)\n", suffix, dGmin, dGminid # report results for dGmin
    }
' "${d}_"*/${str} > "${rescore}/"${str_name}"/"${d%%_*}".csv"
done < <(find . -maxdepth 1 -type d -name '*_*_*' | awk -F '[_/]' '!seen[$2]++ {print $2}')
}

基本上每个处理的 CSV 包含 3 列：

#input_str1.csv located in the folder 10V1_cne_lig12
ID, POP, dG
1, 142, -5.6500 # the line with ID=1, has lowest value in dG
2, 10, -5.5000
3, 2, -4.9500
4, 150, -4.1200

对 5 个 CSV 文件应用 rescore_data3() 会产生以下输出（单行包含有关单个 csv 的信息）：

# 10V1.csv
lig dG(10V1) ID
lig12 0.947 (1)
lig40 0.595 (1)
lig199 1.060 (1)
lig211 0.756 (2)
lig278 0.818 (1)

我需要修改 AWK 代码的数学方程中的常数（10 和 100），以便在为所有已处理的 csv 文件计算的灵活变量上使用它们替换：10 应替换为 dG 的最小值（每个输入的第 3 列.csv) 和 100 应替换为 POP 的最大值（每个 input.csv 的第 2 列）。最终，AWK 脚本中修改后的数学方程仍应包含 $2 和 $3 变量（针对特定 csv 获取的信息）以及 ${the_lowest_dG} 和 ${the_highest_POP}（在开始时仅对所有 CSV 计算一次）：

dG = sqrt((($3-{the_lowest_dG})/{the_lowest_dG})^2+(($2-{the_highest_POP})/{the_highest_POP})^2)

已编辑： 这是一个可能的解决方案，它基于 glenn jackman 提出的 AWK 代码集成到我的函数中。为了计算所有输入 CSV 的最低 dG 和最高 POP ，我在我的 AWK 函数之前使用了这个 awk 代码（它也已经更新以接受这两个变量并在数学方程中进一步使用它）：

rescore_data4 () {
# name of the target CSV file to be rescored
str_name=$(basename "${str}" .csv)
#make dir for output 
mkdir -p "${rescore}"/"${str_name}"
**# 1 - calculate max POP and dGmin for ALL rescored CSVs at once**
read highestPOP lowestDG < <(
    awk -F ', ' '
        FNR == 1 {next}
        NR == 2 || $2 > pop {pop = $2}
        NR == 2 || $3 < dg  {dg  = $3}
        END {print pop, dg}
    ' "${storage}"/*_*_*/${str} ## < applied on all *.csv files in each of the subdirectory matching *_*_* pattern
)
printf >&2 'DEBUG INFO: this is topPOP= %d and dGmin= %.1f computed for %s...  ' "${highestPOP}" "${lowestDG}" "${str_name}"; sleep 0.1 
#
# 2- Apply the following AWK code for rescoring and final data collecting
while read -r d; do
# run rescoring routine using the min/max values 
awk -F', *' -v OFS=', ' -v highest_POP="$highest_POP" -v lowest_dG="${lowestDG}" '
    FNR==1 {
        if (suffix)                             # suppress the empty line
            #print suffix " " dGmin " (" dGminid ")"
            printf "%s %.3f (%d)\n", suffix, dGmin, dGminid
            #printf "%s %.3f (%d) %.3f (%d)\n", suffix, dGmin, dGminid, dGmax, dGmaxid
                                                # report the results
        dGmin = ""                              # initialize the min value
        
        path=FILENAME
        sub(/\/[^/]+$/,"",path)
        prefix=suffix=FILENAME
        sub(/_.*/, "", prefix)
        sub(/\/[^\/]+$/, "", suffix); sub(/^.*_/, "", suffix)
        if (FNR==NR)
            print "lig(CNE)" " " "dG(" prefix ")" " " "ClusterID"        # print the header line
            #print "lig(CNE)" " " "dGmin(" prefix ")" " " "ID(dGmin)" " " "dGmax(" prefix ")" " " "ID(dGmax)"         # print the header line
        next
    }
    {
        dG = sqrt((($3-lowest_dG)/lowest_dG)^2+(($2-240)/240)^2)
        if (dGmin == "" || dG < dGmin) {
            dGmin = dG                          # update the min dG value
            dGminid = $1                        # update the ID with the min dG
        }
    }
    END {
        #print suffix " " dGmin " (" dGminid ")"    # report the results
        printf "%s %.3f (%d)\n", suffix, dGmin, dGminid
        #printf "%s %.3f (%d) %.3f (%d)\n", suffix, dGmin, dGminid, dGmax, dGmaxid
    }
' "${d}_"*/${str} > "${rescore}/"${str_name}"/"${d%%_*}".csv"
done < <(find . -maxdepth 1 -type d -name '*_*_*' | awk -F '[_/]' '!seen[$2]++ {print $2}')
}

虽然这通常效果很好，但新引入的 awk 部分存在一个错误：在包含超过 10 行的大量输入 CSV 的情况下，有时无法计算最低 DG 的值。

我正在使用一些 AWK 脚本生成的多列数据文件：

# output.csv
lig12, dG(rescored)
1, 0.596625
2, 1.05873
3, 1.11285
4, 0.697402

我需要将此 output.csv 修改为单行格式，其中包含：第一行的第一列（lig12）、在第二列中检测到的最小值（在所有行中，这里是 0.596625）及其对应的 ID第一列的数字（这里是 1）：

lig12, 0.596625 (1)

sed/awk 的哪种组合可能有用，可以将其添加到我最初的 AWK 脚本生成的 output.csv 中？

我有 2 个文本文件

1.txt

AA;00000;
BB;11111;
GG;22222;

2.txt

KK;WW;55555;11111;
KK;FF;ZZ;11111;
KK;RR;YY;11111;

我尝试生成此3.txt输出：

AA;00000;
BB;11111;KK;WW;55555;KK;FF;ZZ;KK;RR;YY;
GG;22222;

在删除重复字段后，我应该拥有这个

AA;00000;
BB;11111;KK;WW;55555;FF;ZZ;RR;YY;
GG;22222;

简而言之：在由;(FS=";") 分隔的两个文件中，如果$n文件 1 中的字段存在于$m文件 2 中的任何位置，其中 m,n 不是 1，则追加$0(file2,m)到$0(file1,n). 必须避免重复字段。

我将尝试草拟一个解决方案

awk -f script.awk 2.txt 1.txt

其中脚本如下：

BEGIN {
    FS=";"
    OFS=";"
}

NR==FNR {
    allRecordsFile2[i++] = $0;
    next;
}

{
    for(r in allRecordsFile2)
    {
         split(allRecordsFile2[r],";",array)
         for(f in array)
         {
             for($2 through $n of file1 currently processed)
             {
                 if $n == f --> $0 = $0";"allRecordsFile2[r]
             }
         }
    }

    ## cleanup duplicates

    print $0
}

我仍然需要敲定清理重复项，但这可能可以通过拆分$0并";"使用计数数组来跟踪重复项来完成。

但运行此脚本后，我返回语法错误

C:\Program Files (x86)\GnuWin32\bin>awk -f script.awk file2.txt file1.txt

awk: script.awk:17: for($2 through $n of filei currently processed)
awk: script.awk:17: “ syntax error
awk: script.awk:19: if $n == f --> $0 = $0";"allRecordsFile2[r]
awk: script.awk:19: “ syntax error
awk: script.awk:19: if $n == f --> $0 = $0";"allRecordsFile2[r]
awk: script.awk:19: “ syntax error
errcount:3

我有两列文件，第一列排序，这样

0 107
1 1
1 141
2 22
3 1
3 222
4 65
5 1
5 53
6 79

我想要第一列中没有重复条目的输出，第二列是重复的第一列值的第二列旧值的总和。我的尝试：awk '$1 != p{ if (NR>1) print p, s; p=$1; s=0} {s+=$2} END{print p, s}'，输出

 107
1 142
2 22
3 223
4 65
5 54
6 79

即0不显示第一行第一列的值。我错过了什么？首选单线解决方案。

我想隔离第二列。

如果我做：

echo "1  2 3" | awk "{ print $2 }"

结果是：

1  2 3

预期结果是：

2

我试过-F' '选项，但结果是一样的。

我究竟做错了什么？

我有以下 bash 脚本：

#!/bin/bash

OUTPUT=NULL,2,3,NULL,5,6,7,8

pvar1=$(echo $OUTPUT | awk -F ',' '{print $1}')
pvar2=$(echo $OUTPUT | awk -F ',' '{print $2}')
pvar3=$(echo $OUTPUT | awk -F ',' '{print $3}')
pvar4=$(echo $OUTPUT | awk -F ',' '{print $4}')
pvar5=$(echo $OUTPUT | awk -F ',' '{print $5}')
pvar6=$(echo $OUTPUT | awk -F ',' '{print $6}')
pvar7=$(echo $OUTPUT | awk -F ',' '{print $7}')
pvar8=$(echo $OUTPUT | awk -F ',' '{print $8}')

for i in {$pvar1..$pvar8}
do

case "$i" in

        "NULL")
                pOUT="$(awk '{ $* = $* }1' FS=, OFS=, <<<"$OUTPUT")"
                ;;
        "")
                echo "particulars field is not allowed to be empty. Run the program again and enter NULL or choose a value!" && exit 0
                ;;
        *)
                pOUT="$(awk '{ $* = q $* q }1' FS=, OFS=, q="'"  <<<"$OUTPUT")"
                ;;

esac

done

echo "$pOUT"

输出应该是：

pOUT=NULL,'2','3',NULL,'5','6','7','8'

如果没有提供值，脚本应该退出，例如：

OUTPUT=NULL,2,3,NULL,5,6,,8

我不确定如何在 for 循环中编写 awk 命令。有人可以帮忙吗？