主页 / server / 问题 / 932753
Accepted
Gagan Pal
Asked: 2018-09-27 05:14:54 +0800 CST

AWK 帮助将数据过滤成 CSV

  • 772

我们正在做一些安全研究，我需要从 Debian repos 中提取所有可用的包名称、版本、desc 等。

我正在尝试将输出解析apt-cache dumpavail为 CSV，并将数据组织成表格形式，如名称、版本、desc。

我不太擅长 AWK，但我想它是完美的工具吗？随意向我推荐我可以为 AWK 制作一个好的正则表达式的方法。

awk

2 个回答

  1. 这是一些 Perl。需要来自 CPAN 的 Text::CSV

    apt-cache dumpavail | perl -MText::CSV -00 -ane '
    BEGIN {
        $csv = Text::CSV->new({eol=>"\n"});
        @wanted = qw/Package Version Architecture Description/;
        $csv->print(STDOUT, \@wanted);
        $re = "(" . join("|", @wanted) . "): (.+?)(?=\\Z|^[[:upper:]])";
    }
    %m = /$re/msg; 
    for $key (keys %m) {$m{$key} =~ s/\n//g} 
    $csv->print(STDOUT, [@m{@wanted}]);
' > avail.csv
    • 1
  2. Best Answer

    我认为sed可能更适合，例如使用 GNU sed：

    解析.sed

    /^Package: /                { s///; h }
/^Version: |^Description: / { s///; H }
/^$/                        { x; s/\n/;/gp }

    解释：

    • 找到以所需前缀开头的行，例如/^Package/
    • 删除前缀s///，即用任何内容替换先前匹配的模式
    • 将其余部分保存到保持空间 ( h) 或 ( H)，注意h覆盖保持空间
    • 当遇到包间空行 ( /^$/) 时，交换保持空间和模式空间 ( x) 并用所需的分隔符替换换行符，这里是分号 ( s/\n/;/gp) 并打印结果

    像这样运行它：

    apt-cache dumpavail | sed -nEf parse.sed

    附加head输出为：

    0ad;0.0.23-1+b1;Real-time strategy game of ancient warfare                
0ad-data;0.0.23-1;Real-time strategy game of ancient warfare (data files)
0ad-data-common;0.0.23-1;Real-time strategy game of ancient warfare (common data files)
0xffff;0.8-1;Open Free Fiasco Firmware Flasher
2048-qt;0.1.6-1+b1;mathematics based puzzle game
2ping;4.2-1;Ping utility to determine directional packet loss
2vcard;0.6-1;perl script to convert an addressbook to VCARD file format
fonts-3270;2.0.0-1;monospaced font based on IBM 3270 terminals
389-admin;1.1.46-2;389 Directory Administration Server
libds-admin-serv0;1.1.46-2;Libraries for the 389 Directory Administration Server
    • 1

相关问题