AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / computer / 问题 / 1652127
Accepted
Hot JAMS
Hot JAMS
Asked: 2021-05-29 00:17:47 +0800 CST2021-05-29 00:17:47 +0800 CST 2021-05-29 00:17:47 +0800 CST

多列CSV的后处理:删除重复行+排序

  • 772

我正在处理由几个 CSV 的串联(通过 cat)生成的 csv:

ID(Prot),   ID(lig),    ID(cluster),    dG(rescored),   dG(before), POP(before)
1000,   lig40,  1,  0.805136,   -5.5200,    79
1000,   lig868, 1,  0.933209,   -5.6100,    42
1000,   lig278, 1,  0.933689,   -5.7600,    40
1000,   lig619, 3,  0.946354,   -7.6100,    20
1000,   lig211, 1,  0.960048,   -5.2800,    39
1000,   lig40,  2,  0.971051,   -4.9900,    40
1000,   lig868, 3,  0.986384,   -5.5000,    29
1000,   lig12,  3,  0.988506,   -6.7100,    16
1000,   lig800, 16, 0.995574,   -4.5300,    40
1000,   lig800, 1,  0.999935,   -5.7900,    22
1000,   lig619, 1,  1.00876,    -7.9000,    3
1000,   lig619, 2,  1.02254,    -7.6400,    1
1000,   lig12,  1,  1.02723,    -6.8600,    5
1000,   lig12,  2,  1.03273,    -6.8100,    4
1000,   lig211, 2,  1.03722,    -5.2000,    19
1000,   lig211, 3,  1.03738,    -5.0400,    21
ID(Prot),   ID(lig),    ID(cluster),    dG(rescored),   dG(before), POP(before)
10V1,   lig40,  1,  0.513472,   -6.4600,    150
10V1,   lig211, 2,  0.695981,   -6.8200,    91
10V1,   lig278, 1,  0.764432,   -7.0900,    70
10V1,   lig868, 1,  0.787698,   -7.3100,    62
10V1,   lig211, 1,  0.83416,    -6.8800,    54
10V1,   lig868, 3,  0.888408,   -6.4700,    44
10V1,   lig278, 2,  0.915932,   -6.6600,    35
10V1,   lig12,  1,  0.922741,   -9.3600,    19
10V1,   lig12,  8,  0.934144,   -7.4600,    24
10V1,   lig40,  2,  0.949955,   -5.9000,    34
10V1,   lig800, 5,  0.964194,   -5.9200,    30
10V1,   lig868, 2,  0.966243,   -6.9100,    20
10V1,   lig12,  2,  0.972575,   -8.3000,    10
10V1,   lig619, 6,  0.979168,   -8.1600,    9
10V1,   lig619, 4,  0.986202,   -8.7800,    5
10V1,   lig800, 2,  0.989599,   -6.2400,    20
10V1,   lig619, 1,  0.989725,   -9.2900,    3
10V1,   lig12,  7,  0.991535,   -7.5800,    9
ID(Prot),   ID(lig),    ID(cluster),    dG(rescored),   dG(before), POP(before)
10V2,   lig40,  1,  0.525767,   -6.4600,    146
10V2,   lig211, 2,  0.744702,   -6.8200,    78
10V2,   lig278, 1,  0.749015,   -7.0900,    74
10V2,   lig868, 1,  0.772025,   -7.3100,    66
10V2,   lig211, 1,  0.799829,   -6.8700,    63
10V2,   lig12,  1,  0.899345,   -9.1600,    25
10V2,   lig12,  4,  0.899606,   -7.5500,    32
10V2,   lig868, 3,  0.903364,   -6.4800,    40
10V2,   lig278, 3,  0.913145,   -6.6300,    36
10V2,   lig800, 5,  0.94576,    -5.9100,    35

要后处理此 CSV,我需要 1) 删除标题行的重复

ID(Prot),   ID(lig),    ID(cluster),    dG(rescored),   dG(before), POP(before)

仅将标题保留在融合 csv 的开头(在第一行!)

然后我需要根据第 4 (dG(rescored)) 列中的数字对所有行(忽略第一行标题)进行排序。

为了完成第一项任务,我尝试使用以下 awk one-liner 它正在寻找第一行,然后删除其重复

 awk '{first=$1;gsub("ID(Prot)","");print first,$0}' mycsv.csv > csv_without_repeats.csv

但是它无法识别标题行,这意味着模式定义不正确。

然后根据我使用的第 4 列中的值对数据进行排序:

LC_ALL=C sort -k4,4g 

如何将它通过管道传输到我的 AWK 代码或其他由 AWK 直接完成的所有事情?

例如我试过

awk '{first=$1;gsub(/ID(Prot)?(\([-azA-Z]+\))?/,"");print first,$0}' | LC_ALL=C sort -k4,4g input.csv > sorted_and_without_repeats.csv

但是脚本可以被终止,同时正确地生成分类的 CSV(由于 awk 部分的问题,仍然有重复)。

csv sorting
  • 1 1 个回答
  • 30 Views

1 个回答

  • Voted
  1. Best Answer
    Thor
    2021-05-29T01:16:59+08:002021-05-29T01:16:59+08:00

    这是使用 GNU awk 的一种方法:

    解析.awk

    BEGIN { 
      # Arrays should be sorted numerically by their index
      PROCINFO["sorted_in"] = "@ind_num_asc" 
    
      # Set field-separator to comma followed by optional space
      FS = ",[ \t]*"
    }
    
    # Print the header
    NR==1 { print; next }
    
    # Collect lines into the `h` hashmap
    NR>1 && $1 !~ /^ID/ { 
      h[$4] = $0
    } 
    
    # Print the sorted hashmap `h`
    END { 
      for(k in h) print h[k]
    }
    

    像这样运行它:

    awk -f parse.awk infile
    

    输出:

    ID(Prot),   ID(lig),    ID(cluster),    dG(rescored),   dG(before), POP(before)
    10V1,   lig40,  1,  0.513472,   -6.4600,    150
    10V2,   lig40,  1,  0.525767,   -6.4600,    146
    10V1,   lig211, 2,  0.695981,   -6.8200,    91
    10V2,   lig211, 2,  0.744702,   -6.8200,    78
    10V2,   lig278, 1,  0.749015,   -7.0900,    74
    10V1,   lig278, 1,  0.764432,   -7.0900,    70
    10V2,   lig868, 1,  0.772025,   -7.3100,    66
    10V1,   lig868, 1,  0.787698,   -7.3100,    62
    10V2,   lig211, 1,  0.799829,   -6.8700,    63
    1000,   lig40,  1,  0.805136,   -5.5200,    79
    10V1,   lig211, 1,  0.83416,    -6.8800,    54
    10V1,   lig868, 3,  0.888408,   -6.4700,    44
    10V2,   lig12,  1,  0.899345,   -9.1600,    25
    10V2,   lig12,  4,  0.899606,   -7.5500,    32
    10V2,   lig868, 3,  0.903364,   -6.4800,    40
    10V2,   lig278, 3,  0.913145,   -6.6300,    36
    10V1,   lig278, 2,  0.915932,   -6.6600,    35
    10V1,   lig12,  1,  0.922741,   -9.3600,    19
    1000,   lig868, 1,  0.933209,   -5.6100,    42
    1000,   lig278, 1,  0.933689,   -5.7600,    40
    10V1,   lig12,  8,  0.934144,   -7.4600,    24
    10V2,   lig800, 5,  0.94576,    -5.9100,    35
    1000,   lig619, 3,  0.946354,   -7.6100,    20
    10V1,   lig40,  2,  0.949955,   -5.9000,    34
    1000,   lig211, 1,  0.960048,   -5.2800,    39
    10V1,   lig800, 5,  0.964194,   -5.9200,    30
    10V1,   lig868, 2,  0.966243,   -6.9100,    20
    1000,   lig40,  2,  0.971051,   -4.9900,    40
    10V1,   lig12,  2,  0.972575,   -8.3000,    10
    10V1,   lig619, 6,  0.979168,   -8.1600,    9
    10V1,   lig619, 4,  0.986202,   -8.7800,    5
    1000,   lig868, 3,  0.986384,   -5.5000,    29
    1000,   lig12,  3,  0.988506,   -6.7100,    16
    10V1,   lig800, 2,  0.989599,   -6.2400,    20
    10V1,   lig619, 1,  0.989725,   -9.2900,    3
    10V1,   lig12,  7,  0.991535,   -7.5800,    9
    1000,   lig800, 16, 0.995574,   -4.5300,    40
    1000,   lig800, 1,  0.999935,   -5.7900,    22
    1000,   lig619, 1,  1.00876,    -7.9000,    3
    1000,   lig619, 2,  1.02254,    -7.6400,    1
    1000,   lig12,  1,  1.02723,    -6.8600,    5
    1000,   lig12,  2,  1.03273,    -6.8100,    4
    1000,   lig211, 2,  1.03722,    -5.2000,    19
    1000,   lig211, 3,  1.03738,    -5.0400,    21
    
    • 1

相关问题

  • Outlook 默认排序类型复制到每个文件夹

  • 为什么专为文件管理设计的实用程序会不按字母顺序工作?

  • 在 Notepad++ 中是否可以搜索包含太多或太少特定分隔符实例的行?

  • 数字:使用不同的分隔符导出 CSV

  • 计算文本字符串中的逗号并添加新行

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    如何减少“vmmem”进程的消耗?

    • 11 个回答
  • Marko Smith

    从 Microsoft Stream 下载视频

    • 4 个回答
  • Marko Smith

    Google Chrome DevTools 无法解析 SourceMap:chrome-extension

    • 6 个回答
  • Marko Smith

    Windows 照片查看器因为内存不足而无法运行?

    • 5 个回答
  • Marko Smith

    支持结束后如何激活 WindowsXP?

    • 6 个回答
  • Marko Smith

    远程桌面间歇性冻结

    • 7 个回答
  • Marko Smith

    子网掩码 /32 是什么意思?

    • 6 个回答
  • Marko Smith

    鼠标指针在 Windows 中按下的箭头键上移动?

    • 1 个回答
  • Marko Smith

    VirtualBox 无法以 VERR_NEM_VM_CREATE_FAILED 启动

    • 8 个回答
  • Marko Smith

    应用程序不会出现在 MacBook 的摄像头和麦克风隐私设置中

    • 5 个回答
  • Martin Hope
    Saaru Lindestøkke 为什么使用 Python 的 tar 库时 tar.xz 文件比 macOS tar 小 15 倍? 2021-03-14 09:37:48 +0800 CST
  • Martin Hope
    CiaranWelsh 如何减少“vmmem”进程的消耗? 2020-06-10 02:06:58 +0800 CST
  • Martin Hope
    Jim Windows 10 搜索未加载,显示空白窗口 2020-02-06 03:28:26 +0800 CST
  • Martin Hope
    v15 为什么通过电缆(同轴电缆)的千兆位/秒 Internet 连接不能像光纤一样提供对称速度? 2020-01-25 08:53:31 +0800 CST
  • Martin Hope
    andre_ss6 远程桌面间歇性冻结 2019-09-11 12:56:40 +0800 CST
  • Martin Hope
    Riley Carney 为什么在 URL 后面加一个点会删除登录信息? 2019-08-06 10:59:24 +0800 CST
  • Martin Hope
    zdimension 鼠标指针在 Windows 中按下的箭头键上移动? 2019-08-04 06:39:57 +0800 CST
  • Martin Hope
    jonsca 我所有的 Firefox 附加组件突然被禁用了,我该如何重新启用它们? 2019-05-04 17:58:52 +0800 CST
  • Martin Hope
    MCK 是否可以使用文本创建二维码? 2019-04-02 06:32:14 +0800 CST
  • Martin Hope
    SoniEx2 更改 git init 默认分支名称 2019-04-01 06:16:56 +0800 CST

热门标签

windows-10 linux windows microsoft-excel networking ubuntu worksheet-function bash command-line hard-drive

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve