主页 / unix / 问题 / 781710
Accepted
Mister Smith
Asked: 2024-08-11 06:26:46 +0800 CST

sed（或 awk）：如果不存在则打印捕获的组或占位符

  • 772

因此，自从 GitHub 删除了非高级帐户的洞察选项卡后，我便尝试每天在本地列出我的 git 存储库中的插入和删除内容。

我想出了这种打印我想要的内容的方法：

git log --pretty="@%ad" --date=short --shortstat |  tr "\n" " " | tr "@" "\n"

这会产生这种输出：

2024-06-13   7 files changed, 400 insertions(+), 406 deletions(-) 
2024-06-12   3 files changed, 145 insertions(+) 
2024-06-12   5 files changed, 638 deletions(-) 
2024-06-12   1 file changed, 1 insertion(+), 1 deletion(-)

注意文件、插入和删除中的复数形式。另一个问题是提交可能没有插入或删除（或两者兼有，但我们忽略这种情况）。

我已经快完成了，我只需要提取日期、插入和删除并按日期分组。这将生成某种“每天完成的工作”图表。

我制作了这个正则表达式来捕获处理所有可选项的字段：

/^([0-9]{4}-[0-9]{2}-[0-9]{2})\s{3}[0-9]+\sfile(s)?\schanged,\s(([0-9]+)\sinsertion(s)?\(\+\))?(,\s)?(([0-9]+)\sdeletion(s)?\(\-\))?\s$/gm

现在我需要获取第 1、第 4 和第 8 组，例如sed：

echo "2024-06-13   7 files changed, 400 insertions(+), 406 deletions(-) " |
    sed -r 's/^([0-9]{4}-[0-9]{2}-[0-9]{2})\s{3}[0-9]+\sfile(s)?\schanged,\s(([0-9]+)\sinsertion(s)?\(\+\))?(,\s)?(([0-9]+)\sdeletion(s)?\(\-\))?\s$/\1 \4 \8/gm'

这样就能产生正确的输出：

2024-06-13 400 406

但是如果输入字符串没有插入或删除，sed 就不会为该捕获组打印任何内容。例如：

2024-06-13 400

我无法判断单个数字是插入还是删除。

有没有办法从每一行中提取组，但如果组不存在则打印“0”作为占位符？（不一定单独使用 sed，也不一定在单个命令中）。

sed

7 个回答

  1. Best Answer

    总是有很多解决方案。下面是其中一种。我喜欢用一个正则表达式来完成所有事情，但有时最好保持简单并逐步完成：

    sed -r '
/^([0-9]{4}-[0-9]{2}-[0-9]{2}) /{
  s/$/XXX C0 I0 D0/
  s/([0-9]+)( files? changed.*)C0/\2C\1/
  s/([0-9]+)( insertion.*)I0/\2I\1/
  s/([0-9]+)( deletion.*)D0/\2D\1/
  s/ .*XXX//
  s/[CDI]//g
}
'

    这会匹配日期，然后在行尾添加占位符字符串“ XXX C0 I0 D0”。接下来的 3 条命令会将相应的内容替换0为实际更改、插入或删除的项目数。从日期末尾到占位符的整行内容将被删除，C、D 和 I 字母将被删除，只留下附加在其上的更新数字。

    • 3

  2. 如果中间的占位符为空，则会出现双倍空格，可以用零填充。同样，如果没有最后一个项目，则行将以空格结尾。

    echo "2024-06-13   7 files changed, 400 insertions(+), 406 deletions(-) " |
    sed -r \
        -e 's/^([0-9]{4}-[0-9]{2}-[0-9]{2})\s{3}[0-9]+\sfile(s)?\schanged,\s(([0-9]+)\sinsertion(s)?\(\+\))?(,\s)?(([0-9]+)\sdeletion(s)?\(\-\))?\s$/\1 \4 \8/gm' \
        -e 's/  / 0 /' -e 's/ $/ 0/'
    • 3

  3. --numstat如果您自己使用并计算所需的统计数据，可能会更可靠。使用--numstat（例如，在git log --numstat --pretty="@%ad" --date=short）会产生如下输出：

    @2024-06-07

1       1       plugin/supertab.vim
@2024-06-07

2       34      plugin/supertab.vim
@2024-06-06

7       1       plugin/supertab.vim
@2021-04-22

4       0       .gitignore
17      0       Makefile
210     0       README.rst
473     0       doc/supertab.txt
61      0       ftplugin/html.vim
45      0       ftplugin/xml.vim
1144    0       plugin/supertab.vim

    然后您可以使用类似以下 awk 代码：

    /^@[0-9]+-[0-9]+-[0-9]+/ { # new commit info starting with `@<date>`
  if (date) {  # print previous commit's stats
    print date, inserts, deletes
  };
  date = $0;
  getline;
  inserts = deletes = 0;  # reset counts
  next
}
{
  inserts += $1;
  deletes += $2;
}
END {
  if (date) {  # Final (initial?) commit
    print date, inserts, deletes
  }
}

    示例输出：

    % git log --numstat --pretty="@%ad" --date=short | awk '/^@[0-9]+-[0-9]+-[0-9]+/ {if (date) {print date, i, d}; date=$0; getline; i=d=0; next} {i+=$1; d+=$2; } END {if (date) {print date, i, d}}' | head
@2024-06-07 1 1
@2024-06-07 2 34
@2024-06-06 7 1
@2021-04-22 1954 0

    如果您想要合并同一天所有提交的统计信息，则可以使用以下命令：

    if (date == $0) {
  getline; next
}
if (date) {
  # print previous commit's stats
  #...
}

    所以：

    % git log --numstat --pretty="@%ad" --date=short | awk '/^@[0-9]+-[0-9]+-[0-9]+/ {if (date == $0) { getline; next } if (date) {print date, i, d}; date=$0; getline; i=d=0; next} {i+=$1; d+=$2; } END {if (date) {print date, i, d}}' | head
@2024-06-07 3 35
@2024-06-06 7 1
@2021-04-22 1954 0
    • 2

  4. 0 insertions如果缺少“changed”，我们可以在后面插入：

    /insertion/!s/changed,/& 0 insertions(+),/

    0 deletions类似地，如果有必要，我们可以附加：

    /deletion/!s/$/, deletions(-)/

    完整脚本

    将输出通过管道传输git log --pretty=%as --shortstat到这个小程序中（不需要@格式或tr命令）：

    #!/usr/bin/sed -Ef

# Store date line in hold space
/^[0-9]{4}-[0-9]{2}/h

# Ignore everything except shortstat lines
/changed/!d

# Add insertions if absent
/insertion/!s/changed,/& 0,/
# Add deletions if absent
/deletion/!s/$/, 0/

# Reformat
s/.* changed,//
s/[^0-9,]+//g

# Prepend the saved date
H
x
y/,\n/  /
    • 1

  5. 在每个 Unix 机器上的任何 shell 中，使用对任何 awk 的一次调用，这

    git log --pretty="@%ad" --date=short --shortstat |
awk '
    sub(/^@/,"") { date = $0 }
    gsub(/s?\([+-]),?/,"") {
        delete val
        val[$5] = $4
        val[$7] = $6
        print date, val["insertion"]+0, val["deletion"]+0
    }
'

    将产生以下输出：

    2024-06-13 400 406
2024-06-12 145 0
2024-06-12 0 638
2024-06-12 1 1

    以下是上述脚本的注释版本，有助于解释其功能：

    sub(/^@/,"") {          # Try to remove a leading `@` from the current line.
                        # If that succeeded then a leading `@` was present so
                        # this must be a date line so enter this subsequent
                        # action block.

    date = $0           # Save the date, i.e. whats left on the line once
                        # the above `sub()` removed the leading `@`.
}

gsub(/s?\([+-]),?/,"") {#  Try to remove a string that contains `(+)` or `(-)`
                        # optionally preceded by `s` or followed by `,` so
                        # `insertion(+)`, `insertions(+),` or similar become
                        # `insertion` and `deletions(-),` etc. become `deletion`.
                        # If that succeeded then this is a line containing
                        # insertion and deletion values to process them.

    delete val          # Remove the `val` array to ensure no it cannot contain
                        # leftover valus from processing the previous line.

    val[$5] = $4        # $5 contains `insertion` or `deletion` or is empty
                        # so save the mapping from that to the value thats
                        # in $4 so we have e.g. `val["insertion"] = 400`.

    val[$7] = $6        # Ditto for $7 and $6.

    print date, val["insertion"]+0, val["deletion"]+0
                        # Print the saved values in the order we want them
                        # to be output. Adding `0` means if `insertion` and/or
                        # deletion were missing from the input and so `val[]`
                        # wasnt populated for them on this line, wed still
                        # print `0` instead of a null string.
}

    不过，从你的回答中我看到你实际上想要对每个日期的值求和 - 如果是这样，那么再次使用 any awk：

    git log --pretty="@%ad" --date=short --shortstat |
awk '
    sub(/^@/,"") {
        date = $0
        if ( (date != prev) && (prev != "") ) {
            print prev, val["insertion"]+0, val["deletion"]+0
            delete val
        }
        prev = date
    }
    gsub(/s?\([+-]),?/,"") {
        val[$5] += $4
        val[$7] += $6
    }
    END {
        print prev, val["insertion"]+0, val["deletion"]+0
    }
'

    将产生以下输出：

    2024-06-13 400 406
2024-06-12 146 639

    而不必一次将所有值存储在内存中。

    以上内容假设如下：

    git log --pretty="@%ad" --date=short --shortstat

    产生如下输出：

    @2024-06-13

 7 files changed, 400 insertions(+), 406 deletions(-)

@2024-06-12

 3 files changed, 145 insertions(+)

@2024-06-12

 5 files changed, 638 deletions(-)

@2024-06-12

 1 file changed, 1 insertion(+), 1 deletion(-)
    • 1

  6. 基于@meuh 的正则表达式的完整解决方案，但忽略了更改的文件的数量：

    git log --pretty="@%ad" --date=short --shortstat |  tr "\n" " " | tr "@" "\n" |
 tail -n +2 |
 sed -r '
/^([0-9]{4}-[0-9]{2}-[0-9]{2}) /{
  s/$/XXX I0 D0/
  s/([0-9]+)( insertion.*)I0/\2I\1/
  s/([0-9]+)( deletion.*)D0/\2D\1/
  s/ .*XXX//
  s/[DI]//g
}' |
 awk '{a[$1]+=$2; b[$1]+=$3} END { for (i in a) print i,a[i],b[i] }' |
 sort -k 1

    tail需要第二行中的命令来删除第一行中替换引入的第一个空行tr。

    此后，该sed命令将删除除日期、插入行和删除行之外的所有内容，并考虑没有插入或删除的提交。

    然后，该awk命令将第二列和第三列相加，并按第一列（日期）分组。但由于awk数组键没有排序，我们需要按sort第一列对结果进行最终排序，这将生成按日期降序排列的唯一每日统计数据列表，例如：

    2024-05-29 1234 2
2024-05-30 350 76
2024-06-03 405 68
2024-06-06 483 36
2024-06-11 447 59
2024-06-12 795 12
2024-06-13 522 436
...
    • 0

  7. 在 Perl 中，这相对简单，因为您可以使用整数格式，将空值打印%d为零printf，也可以使用//运算符设置“默认”值：

    % git ... | perl -0777 -ne '
    while (/^([0-9]{4}-[0-9]{2}-[0-9]{2})\s{3}[0-9]+\sfile(s)?\schanged,\s(([0-9]+)\sinsertion(s)?\(\+\))?(,\s)?(([0-9]+)\sdeletion(s)?\(\-\))?\s$/gm) {
        printf "%s %d %d\n", $1, $4//0, $8//0;
    }'  
2024-06-13 400 406
2024-06-12 145 0
2024-06-12 0 638
2024-06-12 1 1

    或者使用s///e，它允许在替换部分使用 Perl 代码：

    % git ... | perl -0777 -pe 's#^([0-9]{4}-[0-9]{2}-[0-9]{2})\s{3}[0-9]+\sfile(s)?\schanged,\s(([0-9]+)\sinsertion(s)?\(\+\))?(,\s)?(([0-9]+)\sdeletion(s)?\(\-\))?\s$# sprintf("%s %d %d", $1, $4//0, $8//0) #gme'
2024-06-13 400 406
2024-06-12 145 0
2024-06-12 0 638
2024-06-12 1 1

    不过，正如 muru 已经提到的，的输出--numstat可能更容易解析。

    另一方面，单独选择每个值可能更容易，这将有助于避免使用复杂的正则表达式。例如，像这样同时进行每日汇总：

    % git ... | perl -ne '
    next unless /^([-0-9]+)\s+(\d+) files? changed/;
    $date = $1;
    $ins{$date} += $1 if /(\d+) insert/;
    $del{$date} += $1 if /(\d+) delet/;

    END {
        printf "date: %s total insertions: %d deletions: %d\n", $_, $ins{$_}, $del{$_} for sort keys %ins;
    }
'

date: 2024-06-12 total insertions: 146 deletions: 639
date: 2024-06-13 total insertions: 400 deletions: 406

    顺便说一句，这很容易调整，因此tr不需要，只需设置@为记录分隔符：

    git log --pretty="@%ad" --date=short --shortstat | perl -ne '
    BEGIN { $/ = "@" }
    next unless /^([-0-9]+)\s+\d+ files? changed/;
    $date = $1;
    $ins{$date} += $1 if /(\d+) insert/;
    $del{$date} += $1 if /(\d+) delet/;
    
    END {
        printf "date: %s total insertions: %d deletions: %d\n", $_, $ins{$_}, $del{$_} for sort keys %ins;
    }
'

    （请注意，正则\s表达式中的是 Perl-ism。虽然 GNU 出于某种原因支持它，但它是非标准的，并且不受其他系统上的标准工具支持。）

    • 0

相关问题