AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / computer / 问题 / 1649889
Accepted
Hot JAMS
Hot JAMS
Asked: 2021-05-19 03:23:34 +0800 CST2021-05-19 03:23:34 +0800 CST 2021-05-19 03:23:34 +0800 CST

awk:使用大量输入文件计算多列数据的最小/最大值

  • 772

我正在处理位于不同目录中的大量 csv 数据文件的后处理。每个 csv 文件具有以下 3 列格式:

ID, POP, dG
1, 24, -6.8100
2, 22, -6.7900
3, 11, -6.6800
4, 18, -6.1100
5, 5, -6.0700
6, 1, -6.0600
7, 11, -6.0300
8, 36, -6.0100

以下 bash 函数包含 awk 代码,该代码一次计算所有已处理 CSV的 dG(第 3 列,始终为负浮点数)的最小值以及 POP(第 2 列 2,为正)值的最大值并存储它在第二个 awk 脚本使用的新 bash 变量最高POP最低DG中(此处不考虑):

home="$PWD"
# folder with the outputs
rescore="${home}"/rescore 
# folder with the folders to analyse
storage="${home}"/results_bench
cd "${storage}"
# pattern of the csv file located inside each of sub-directory of "${storage}"
str='*str1.csv'
rescore_data4 () {
str_name=$(basename "${str}" .csv)
mkdir -p "${rescore}"/"${str_name}"
# 1- calculate max POP and dGmin for ALL rescored CSVs at once
read highestPOP lowestDG < <(
    awk -F ', ' '
        FNR == 1 {
            next
            }
        NR == 2 || $2 > popMAX {popMAX = $2}
        NR == 2 || $3 < dGmin  {dGmin  = $3}
        END {printf "%d %.2f\n", popMAX, dGmin}
    ' "${storage}"/*_*_*/${str}
)
#
# 2- run rescoring routine using the min/max values
awk -F', *' -v OFS=', ' -v highest_POP="${highestPOP}" -v lowest_dG="${lowestDG}" '
   ... some awk code
'
}

在第一个 awk 脚本中,$str 是位于不同目录中的目标 csv 文件的 glob 掩码(匹配 glob 模式“ _ _*”)虽然这通常有效,但第一个 AWK 代码中有一个错误(用于计算 min/所有已处理 CSV 的最大值):有时在输入 CSV 数量大/包含许多行的情况下,无法计算最低 DG 的值。问题总是与计算 dg 变量(始终为负)有关,脚本报告 dg=0.000,这是不正确的。

为了解决这个问题,我尝试修改 AWK 代码,在开始时定义两个新变量(具有最小值和最大值),然后将列中的每个值与它们进行比较:

   read highestPOP lowestDG < <(
    awk -F ', ' '
        FNR == 1 {
            dGmin = ""                              # initialize the min value
            POPmax = ""   
            next
            }
        NR == 2 || POPmax == "" || $2 > POPmax {POPmax = $2 }
        NR == 2 || dGmin == "" || $3 < dGmin  {dGmin  = $3 }
        END {printf "%d %.2f\n", POPmax, dGmin}
    ' "${storage}"/*_*_*/${str}
)

现在,从技术上讲,它可以工作,但似乎第二个解决方案没有正确报告最小值和最大值。如何正确修复 awk 脚本?

awk
  • 1 1 个回答
  • 602 Views

1 个回答

  • Voted
  1. Best Answer
    roaima
    2021-05-19T04:01:25+08:002021-05-19T04:01:25+08:00

    如果您想用于awk计算max/min跨越一系列文件,只需在命令行上提供这些文件作为awk脚本的输入

    awk -F, '
        ($2+0 > POP+0 || POP == "") && $1+0 > 0 { POP = $2 }
        ($3+0 < dG+0 || dG == "") && $1+0 > 0 { dG = $3 }
        END { print POP, dG }
    ' file1 file2 file3...
    

    (这也可以简单地通过连接所有行来编写为单行,但它的可读性较差。)

    让我们分解一行。模式样式是表达式 { 动作 },任何一部分都是可选的。POP这里的表达式是在任何ID非零数字的行上寻找更大的值

    ($2+0 > POP+0 || POP == "") && $1+0 > 0 { POP = $2 }
    
    $2+0 > POP+0    # Is the numeric values of $2 more than the numeric value of POP
    ||              # OR
    POP == ""       # Is POP the empty string (possibly unset)
    

    如果其中至少有一个是,true那么我们还需要下一个条件

    $1+0 > 0        # Is the numeric value of $1 greater than zero ("skip the header")
    

    然后...

    { POP = $2 }    # Assign the numeric value of $2 to POP
    

    然后对每个文件中的每一行重复循环。在最后一个文件的末尾END执行构造,打印出结果两个值。

    请注意,只有在比较期间,awk循环中的值才会转换为数字。在所有其他时间,它们只是字符串,因此不会损失精度。

    您可以轻松地将bash变量分配给这些输出,从而将不需要的空白作为副作用丢弃

    read pop dg < <(awk ...)
    

    对于大量文件,例如 glob 扩展失败,标准find方法就足够了,将文件的内容awk作为STDIN输入,而不是在命令行中列出它们

    find "${storage}" -type f -name 'target_file.csv' -exec cat {} + | awk '...'
    
    • 1

相关问题

  • sed/awk:在第一次出现后删除相似的行

  • 打印一个文件并减去两行

  • 奇怪的 awk 语法:带两个点的数字?

  • 在第二列中打印数字在新行中始终按照第 1 列中指定的次数打印

  • awk 根据变量匹配提取文件中的特定模式

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    如何减少“vmmem”进程的消耗?

    • 11 个回答
  • Marko Smith

    从 Microsoft Stream 下载视频

    • 4 个回答
  • Marko Smith

    Google Chrome DevTools 无法解析 SourceMap:chrome-extension

    • 6 个回答
  • Marko Smith

    Windows 照片查看器因为内存不足而无法运行?

    • 5 个回答
  • Marko Smith

    支持结束后如何激活 WindowsXP?

    • 6 个回答
  • Marko Smith

    远程桌面间歇性冻结

    • 7 个回答
  • Marko Smith

    子网掩码 /32 是什么意思?

    • 6 个回答
  • Marko Smith

    鼠标指针在 Windows 中按下的箭头键上移动?

    • 1 个回答
  • Marko Smith

    VirtualBox 无法以 VERR_NEM_VM_CREATE_FAILED 启动

    • 8 个回答
  • Marko Smith

    应用程序不会出现在 MacBook 的摄像头和麦克风隐私设置中

    • 5 个回答
  • Martin Hope
    Saaru Lindestøkke 为什么使用 Python 的 tar 库时 tar.xz 文件比 macOS tar 小 15 倍? 2021-03-14 09:37:48 +0800 CST
  • Martin Hope
    CiaranWelsh 如何减少“vmmem”进程的消耗? 2020-06-10 02:06:58 +0800 CST
  • Martin Hope
    Jim Windows 10 搜索未加载,显示空白窗口 2020-02-06 03:28:26 +0800 CST
  • Martin Hope
    v15 为什么通过电缆(同轴电缆)的千兆位/秒 Internet 连接不能像光纤一样提供对称速度? 2020-01-25 08:53:31 +0800 CST
  • Martin Hope
    andre_ss6 远程桌面间歇性冻结 2019-09-11 12:56:40 +0800 CST
  • Martin Hope
    Riley Carney 为什么在 URL 后面加一个点会删除登录信息? 2019-08-06 10:59:24 +0800 CST
  • Martin Hope
    zdimension 鼠标指针在 Windows 中按下的箭头键上移动? 2019-08-04 06:39:57 +0800 CST
  • Martin Hope
    jonsca 我所有的 Firefox 附加组件突然被禁用了,我该如何重新启用它们? 2019-05-04 17:58:52 +0800 CST
  • Martin Hope
    MCK 是否可以使用文本创建二维码? 2019-04-02 06:32:14 +0800 CST
  • Martin Hope
    SoniEx2 更改 git init 默认分支名称 2019-04-01 06:16:56 +0800 CST

热门标签

windows-10 linux windows microsoft-excel networking ubuntu worksheet-function bash command-line hard-drive

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve