主页 / unix / 问题 / 776562
Accepted
Albert
Asked: 2024-05-16 11:53:38 +0800 CST

为什么排序的 uniq -c 命令显示重复项

  • 772

我试图计算我在计算机上使用某个版本的库的次数。

由于某种原因，uniq -c尽管对其进行了排序，并且尽管排序顺序似乎按顺序排列，但仍输出重复项。

有什么想法或反馈吗？

谢谢你的时间。

和uniq -c

输入：

rg --no-line-number --no-filename -g '*.csproj' "GitVersion.MsBuild" | sed -E '/GitVersion\.MsBuild" Version/!d;s/^\s\+//g;/<!/d;s/^.+(GitVersion.MsBuild)" Version="(.+)">/\1   \2/g' | sort -n | uniq -c

输出：

      3 GitVersion.MsBuild      5.10.1
      1 GitVersion.MsBuild      5.10.1
      3 GitVersion.MsBuild      5.10.3
     11 GitVersion.MsBuild      5.11.1
      5 GitVersion.MsBuild      5.11.1
     25 GitVersion.MsBuild      5.12.0
      2 GitVersion.MsBuild      5.12.0
      1 GitVersion.MsBuild      5.6.11
      2 GitVersion.MsBuild      5.7.0
      4 GitVersion.MsBuild      5.8.1

没有uniq -c

输入：

rg --no-line-number --no-filename -g '*.csproj' "GitVersion.MsBuild" | sed -E '/GitVersion\.MsBuild" Version/!d;s/^\s\+//g;/<!/d;s/^.+(GitVersion.MsBuild)" Version="(.+)">/\1   \2/g' | sort -n

输出：

GitVersion.MsBuild      5.10.1
GitVersion.MsBuild      5.10.1
GitVersion.MsBuild      5.10.1
GitVersion.MsBuild      5.10.1
GitVersion.MsBuild      5.10.3
GitVersion.MsBuild      5.10.3
GitVersion.MsBuild      5.10.3
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.6.11
GitVersion.MsBuild      5.7.0
GitVersion.MsBuild      5.7.0
GitVersion.MsBuild      5.8.1
GitVersion.MsBuild      5.8.1
GitVersion.MsBuild      5.8.1
GitVersion.MsBuild      5.8.1

我已经xxd按照 @kos 的建议更新了我的命令以进行管道传输。这有助于比较。

rg --no-line-number --no-filename -g '*.csproj' "GitVersion.MsBuild" | sed -E '/GitVersion\.MsBuild" Version/!d;s/^\s\+//g;/<!/d;s/^.+(GitVersion.MsBuild)" Version="([0-9\.]+)">/\1     \2/g' | sort -n | uniq -c | xxd

这就产生了（抱歉屏幕截图，但它有助于获得颜色）。 在此输入图像描述

然后我稍微修改了正则表达式（抱歉，我没有采纳所有建议，因为一个微小的调整使它起作用，但我不得不说我从中学到了很多东西，包括使用xxd）

我只是.*在之后添加>：

rg --no-line-number --no-filename -g '*.csproj' "GitVersion.MsBuild" | sed -E '/GitVersion\.MsBuild" Version/!d;s/^\s\+//g;/<!/d;s/^.+(GitVersion.MsBuild)" Version="([0-9\.]+)">.*$/\1  \2/g' | sort | uniq -c

现在它产生了正确的（或者无论如何令人满意的）输出：

      4 GitVersion.MsBuild      5.10.1
      3 GitVersion.MsBuild      5.10.3
     16 GitVersion.MsBuild      5.11.1
     27 GitVersion.MsBuild      5.12.0
      1 GitVersion.MsBuild      5.6.11
      2 GitVersion.MsBuild      5.7.0
      4 GitVersion.MsBuild      5.8.1

感谢团队！

sed

1 个回答

  1. Best Answer

    uniq -c计算在用户区域设置中同等整理的连续行序列的长度（返回strcoll(line1, line2)0）。

    如果你得到：

          3 GitVersion.MsBuild      5.10.1
      1 GitVersion.MsBuild      5.10.1

    两条看似相同的行是连续的，这只能表明它们不相同（并且不相等地整理）。

    最可能的解释是那里的隐形字符存在变化。

    作为与 Microsoft 相关的文件，行尾可能有 CR 字符，尽管这也可能是空格或制表符，这些字符也可能自然出现在 XML 文件中。

    您的代码可能应该是：

    rg --no-line-number --no-filename -g '*.csproj' 'GitVersion\.MsBuild' |
  sed -nE '/<!/d
           s/^.*(GitVersion\.MsBuild)" Version="(.+)">.*/\1   \2/p' |
  sort -V |
  uniq -c

    在哪里：

    • s/^\s\+//g删除，因为它没有任何用途（即使固定为s/^\s+//）。
    • sort -n（这是毫无意义的，因为行不以数字开头）替换为sort -V（对于版本 sort，GNU 扩展）。
    • .*添加后，">所以任何内容都会被丢弃，包括空格、制表符、CR 或任何其他不可见字符。
    • 被g删除，因为该模式只能匹配一次。
    • sed -np与 sed 命令的标志结合s使用，以确保仅打印匹配的行。

    或者完成整个事情rg：

    rg --pcre2 \
   --no-line-number \
   --no-filename \
   --iglob='*.csproj' \
   --replace=$'$1\t$2' \
   --regexp='^(?!.*<!).*(GitVersion\.MsBuild)"\s+Version="(.*?)".*' |
  sort -V |
  uniq -c

    或者pcregrep/ pcre2grep：

    pcre2grep -hr -o{1,2} --om-separator=$'\t' --include='(?i)\.csproj\z' \
          '^(?!.*<!).*(GitVersion\.MsBuild)"\s+Version="(.*?)"' . |
  sort -V |
  uniq -c

    （使用--iglob并且(?i)据我所知，微软系统往往不关心文件名的大小写）

    如果这些确实是 XML 文件，您还可以使用 XML 感知实用程序来处理它们，例如xq：

    find . -iname '*.csproj' -type f -exec xq -r '
  ..|
  objects|
  select(."@Include"? == "GitVersion.MsBuild")|
  [."@Include", ."@Version"]|
  join("\t")' {} + |
  sort -V |
  uniq -c
    • 6

相关问题