主页 / unix / 问题

问题[awk](unix)

Martin Hope
sylvainsab
Asked: 2024-12-09 01:40:28 +0800 CST
  • 5

我的情况很简单：我有一个HTML 文件，其中有几行仅包含缩进的<section>块标记，每行后面跟着一个（也缩进的）<h3 id="YYYY">...</h3> 标题标记。

就像这样：

    <section>
        <h3 id="2024"><a href="index.fr.html#2024">fr</a> 2024 <a href="index.html#2024">en</a></h3>

当使用锚点链接转到页面内的特定年份（或其翻译）时，年份标题将隐藏在 后面<header>。

通过将属性从 标签向上移动一行即可解决该问题，id<h3><section>

像这样：

    <section id="2024">
        <h3><a href="index.fr.html#2024">fr</a> 2024 <a href="index.html#2024">en</a></h3>

是否有简单的一行或命令可以让我将所有这些id属性从<h3>标签切换到<section>上一行的标签？我还没有找到如何匹配BSD sed或中的多行，尤其是awk。

sed 's:<section>\(\s*\)<h3\( id="\[0-9\]{4}"\):<section\2>\1<h3:g' index.html\n\t\t不会更改文件。代替\s或使用双反斜杠转义也 不会更改文件。

是否有像我假设的那样匹配空格字符的选项GNU sed？也许只能在命令中直接插入/使用换行符/制表符，但我想学得更好，而且因为我在远程工作，不得不使用termux...Android我也没有足够的技能来使用awk解决方法。

awk
Martin Hope
Ed Morton
Asked: 2024-12-07 21:13:12 +0800 CST
  • 13

使用所有 3 个工具的 GNU 版本（向下滚动查看 FreeBSD 尝试），如果我想'使用带有'-delimited 脚本的 awk 在输入中查找，我们可以尝试使用十六进制和八进制转义序列进行匹配：

$ echo "'" | awk '/\x27/'
'

$ echo "'" | awk '/\047/'
'

$ echo "'" | awk '/\o047/'
awk: cmd. line:1: warning: regexp escape sequence `\o' is not a known regexp operator

因此，正如您直观预期的那样，前两个方法有效，而第三个方法无效。

现在让我们用 sed 尝试同样的操作（带或不带-E）：

$ echo "'" | sed -n '/\x27/p'
'

$ echo "'" | sed -n '/\047/p'
$

$ echo "'" | sed -n '/\o047/p'
'

和 grep （带或不带-E）：

$ echo "'" | grep '\x27'
grep: warning: stray \ before x

$ echo "'" | grep '\047'
grep: warning: stray \ before 0

$ echo "'" | grep '\o047'
grep: warning: stray \ before o

所以：

  1. 最重要的是：它们为什么不同？
  2. 第二个好奇心：有没有办法在 grep 中使用转义序列进行匹配，'而无需诉诸 GNU greps 不可移植-P选项，也不需要在 grep 使用诸如这样的 shell 构造看到转义序列之前扩展转义序列grep $'\047'？

值得注意的是，八进制\047是 awk 中推荐的转义序列（请参阅http://awk.freeshell.org/PrintASingleQuote或https://web.archive.org/web/20230530010453/http://awk.freeshell.org/PrintASingleQuote，如果发生故障）。

就这个问题而言，我对允许文字的替代方案'或其他任何工具的功能或其他任何事情都不感兴趣，我只是想找出为什么这 3 个特定的正则表达式匹配工具对 ASCII 转义序列的处理方式彼此不同。但是，我有兴趣了解 BSD 或这 3 个工具的其他变体在给定上述相同脚本的情况下如何表现。

附加信息：

FreeBSD

这是 FreeBSD 13.1 的行为：

% echo "'" | awk '/\x27/'
'
% echo "'" | awk '/\047/'
'
% echo "'" | sed -n '/\x27/p'
'
% echo "'" | sed -n '/\047/p'
% echo "'" | sed -n '/\o047/p'
sed: 1: "/\o047/p": RE error: trailing backslash (\)
% echo "'" | grep '\x27'
grep: trailing backslash (\)
% echo "'" | grep '\047'
%

POSIX

以下是正则表达式的 POSIX 标准和相关 3 个工具对此的说明：

从正则表达式规范中我们看到，BRE或EREx中都不0是“特殊字符”，因此它们是“普通字符”，并且

当不在括号表达式中时，未转义字符前面的普通字符的解释是未定义的，但以下情况除外：

后面跟着字符列表，其中不包含0BRE或ERE ，因此我的结论是，在 POSIX 的正则表达式中，既没有定义行为，也没有定义x行为。\x27\047

POSIX awk 规范正则表达式部分说明：

\ddd
一个字符后跟一个、两个或三个八进制数字的最长序列 (01234567)。如果所有数字均为 0（即 NUL 字符的表示），则行为未定义。如果数字产生的值大于八进制 377，则行为未定义。

所以我们知道\0是为 POSIX awk 定义的但\x事实并非如此，所以 awk 的行为\x未由 POSIX 为 awk 定义，因此留给各种 awk 实现。

POSIX sed 规范正则表达式部分为正则表达式添加了一些变化，但没有提及\0或\x并且遵循 POSIX 正则表达式定义，因此POSIX 对于 sed 未定义\0或。\x

POSIX grep 规范描述部分完全遵循 POSIX 正则表达式定义，因此\0POSIX\x对 grep 未定义。

因此显然 的含义\xdd取决于 grep、sed 和 awk 的工具实现者，而 的含义\0dd是为 awk 定义的，但取决于 grep 和 sed 的实现者。

GNU 手册

GNU awk 手册转义序列部分说明：

\nnn
八进制值 nnn，其中 nnn 代表“0”和“7”之间的 1 到 3 位数字。例如，ASCII ESC（转义）字符的代码为“\033”。

\xhh…
十六进制值 hh，其中 hh 代表十六进制数字序列（'0'–'9'，以及 'A'–'F' 或 'a'–'f'）。'\x' 后最多允许两位数字...

这就是\x47GNU awk 的定义。

GNU sed 手册转义序列部分说明：

\oxxx
生成或匹配八进制 ASCII 值为 xxx 的字符。

\xxx
生成或匹配十六进制 ASCII 值为 xx 的字符。

\o047这就是\x27GNU sed 的定义。

GNU grep 手册中没有我找到的对十六进制或八进制转义序列的引用，这解释了我们在尝试使用它们时看到的警告消息，大概意味着它们在 GNU grep 中不受支持。

awk
Martin Hope
MikiBelavista
Asked: 2024-11-21 22:46:04 +0800 CST
  • 3

我有线

* {@jira: PIVOT-9968} Provide a way to pass an `IMemoryCollector` to `IInternalMemoryMonitored#getMemoryStatistics(memoryCollector)` in order to prevent the count of duplicated blocks.

我只想转义第一个包含票号的字符。 编写脚本以添加反斜杠来 解决我之前的问题

* /{@jira: PIVOT-9968/} Provide a way to pass an `IMemoryCollector` to `IInternalMemoryMonitored#getMemoryStatistics(memoryCollector)` in order to prevent the count of duplicated blocks.

我试过

mawk '/^\* {@jira: PIVOT/ { gsub(/[{} ]/,"\\\\&") } 1' changelog.md > tmp && mv tmp changelog.md

并得到

*\ \{@jira:\ PIVOT-8019\}\ Pivot:\ Added\ `MaxAppendOnlyFunction`\ and\ \ `MinAppendOnlyFunction`\ aggregation\ functions\ that\ do\ not\ support\ disaggregation\ but\ can\ be\ used\ within\ an\ aggregate\ provider.

我应该改变什么？gsub？

awk
Martin Hope
Gao
Asked: 2024-11-18 19:36:04 +0800 CST
  • 6

INI 文件是 Firefox 的配置文件.ini。我想打印下面的所有内容，包括部分标题，其中是非负整数，每个部分之间用空行分隔。还有一个可选键，它与配置文件部分下的键不同，如果存在，我也想打印它。基本上，shell 脚本只是和之前（打印、以及可选的键和值），但如果添加或删除键，这将失败，并且grep 选项不可移植。[Profilen]nDefault[Install*]Defaultgrep -E 'Default=[^1]' profiles.inigrep -A4 '^\[Profile' profiles.iniNameIsRelativePathDefault-A

下面是我的一个 hack 解决方案，它既不是惯用的 AWK，也不是健壮的 AWK：

/^[[]Profile[0123456789]{1,}[]]$/ {
    print
    while ((getline) > 0) {
        if ($0 ~ /^$/) { # Should really break on new sections.
            print ""
            break
        } else {
            print
        }
    }
}
/^Default=/ {
    print # Default profile path given in the Install* section.
}

示例输入：

[Profile2]
Name=default-test
IsRelative=0
Path=/home/user/ffprofiles/f9bwn86n.default-test

[Profile1]
Name=default
IsRelative=1
Path=x64qf7nv.default
Default=1

[Profile0]
Name=default-release
IsRelative=1
Path=9hv1fbkk.default-release-3426201712696

[General]
StartWithLastProfile=1
Version=2

[Install22379532B4E49482]
Default=9hv1fbkk.default-release-3426201712696
Locked=1

示例输出：

[Profile2]
Name=default-test
IsRelative=0
Path=/home/user/ffprofiles/f9bwn86n.default-test

[Profile1]
Name=default
IsRelative=1
Path=x64qf7nv.default
Default=1

[Profile0]
Name=default-release
IsRelative=1
Path=9hv1fbkk.default-release-3426201712696

Default=9hv1fbkk.default-release-3426201712696

我怎样才能更简洁、更正确地做到这一点？解决方案实际上不必使用 AWK，但我认为 awk 比 sed 或任何其他 Unix 实用程序更适合这种情况。但是，解决方案必须是可移植的并且符合 POSIX 标准。提前谢谢您。

awk
Martin Hope
user447274
Asked: 2024-11-03 14:39:04 +0800 CST
  • 3

和

awk '{ printf "%-15s %s\n", $1, $2 }' renamed | sort -V

... 我从文件中获得了良好的输出renamed。

它看起来像：

file1           file1.new

但我想将输出改为：

file1           -->  file1.new

我想--> 在每行的第 15 个位置添加。

怎么办呢？

awk
Martin Hope
CPC_92
Asked: 2024-10-30 07:42:18 +0800 CST
  • 5

仅当字符串“NA”位于文件的第 6 个字段中时，我才需要将其编辑为“Na”。我目前可以使用以下方法实现此目的：

awk '{gsub("NA","Na",$6)}1' $filename

但是我需要一个附加条件，即如果字符串“HEM”在同一行，则不会发生这种情况。例如，我希望以下行保持不变：

7353  NA       5.4433   24.4404   -3.0784 NA    456  HEM

最后，上述命令删除了字段之间的额外填充。如果有一个命令可以在不改变字段间距的情况下实现这一点，那就太棒了，但这个功能不是必需的。

我认为这可以通过花一些时间读取每个文件并打印每一行，然后只用 if 语句进行编辑来完成，但我试图避免这种笨重的事情。

我觉得这个任务很难用简单的方式完成，但如果有 unix 专家知道如何做，我将不胜感激。谢谢！

awk
Martin Hope
Benjam1n
Asked: 2024-10-11 23:17:13 +0800 CST
  • 7

我有一个文件，其中包含必须隐藏的值（替换为 XX），但它们在整行中并不总是位于同一位置，而且我不知道它们的内容。但我知道的是它们相对于特定匹配项的位置。

例如，我想将“00 00”后的第三和第四个数字替换为XX

原来的：

AA BB CC 00 00 01 02 03 04 05 06 07
AA BB CC DD EE FF 00 00 08 09 10 11 12 13 14

期望输出：

AA BB CC 00 00 01 02 XX XX 05 06 07
AA BB CC DD EE FF 00 00 08 09 XX XX 12 13 14

我尝试使用 awk，但只能定位到行首。例如，有没有办法从特定匹配中索引 $2 和 $3？

编辑：该行中只能出现一次00 00，它不能包含00 00 00无需担心前导或尾随匹配。

我迄今为止的（令人尴尬的）尝试是：

cat file | awk -F'00 00' '{print $2}' | awk '{gsub ($3,"XX",$0);gsub ($4,"XX",$0)}1'

除了多个 awk 之外，我还丢失了行的开头，因为匹配项之前的所有内容都被我的第一个 awk 删除了

awk
Martin Hope
Johannes
Asked: 2024-09-18 06:38:55 +0800 CST
  • 5

我有这段代码，它可以很好地满足我的要求（来自@AdminBee 对“从 CSV 文件中打印重复值，包括出现次数”的回答，顺便说一句，谢谢！）：

awk -F'|' '{c[$27]++} END{for (i in c) {if (c[i]>1) print c[i],i}}' input.csv

我需要将它放在一个单独的文件中（例如pk_check.awk），然后能够从 zsh 内部调用它，但传递变量，例如分隔符、列号、文件名和扩展名，例如

separator=|
column_number=27
filename=input
extension=csv

echo | awk -v x=$separator -v y=$column_number -v w=$filename -v z=$extension -f pk_check.awk

（上面的代码不仅仅是一个想法，可能不正确或效率低下）

其背后的想法是，我可以（在将来）拥有更多足够通用的 awk“迷你测试”，以便从具有不同参数的 zsh 脚本中调用，甚至可以让 shell 脚本接收或处理不同文件的参数列表。

但在这一切之前，我必须先解决这个问题！:) 我尝试了一些丑陋的东西来发布在这里，我真的不太明白如何修改 .awk 文件以使其通用或如何从 shell 脚本调用它。

awk
Martin Hope
Lucas Rey
Asked: 2024-09-14 14:37:32 +0800 CST
  • 5

我正在尝试弄清楚如何在文件中实现多个模式“AND”搜索。基本上，只有当所有 3 个模式都存在于 /var/log/messages 中时，应用程序才应该执行某些操作

这将起作用，但要使用“ OR ”：

awk '/writeback error on sector/ || /blk_update_request: I\/O error/ || /xfs_do_force_shutdown/' /var/log/messages

这显然不起作用：

awk '/writeback error on sector/ && /blk_update_request: I\/O error/ && /xfs_do_force_shutdown/' /var/log/messages

我需要的是类似这样的内容：

  • 检查 /var/log/messages
  • 如果消息中存在所有 3 种模式，则执行某些操作

如果可能的话使用 grep我可以使用“-f patterns”来使用外部文件，用户可以在其中添加其他模式

有人能给我一些建议吗？谢谢 Lucas

awk
Martin Hope
Scott Hollenbeck
Asked: 2024-09-09 06:24:05 +0800 CST
  • 9

我正在尝试解析并重写“resolvectl statistics”命令的输出，希望生成一个 munin 插件来监控 resolvectl 处理。输出如下所示：

Transactions
                       Current Transactions:     0
                         Total Transactions: 65277

Cache
                         Current Cache Size:    13
                                 Cache Hits: 20422
                               Cache Misses: 70974

Failure Transactions
                             Total Timeouts:    32
         Total Timeouts (Stale Data Served):     0
                    Total Failure Responses:  5203
Total Failure Responses (Stale Data Served):     0

DNSSEC Verdicts
                                     Secure:     0
                                   Insecure:     0
                                      Bogus:     0
                              Indeterminate:     0

我需要重写此输出以产生如下所示的内容：

current-transactions.value 0
total-transactions.value 65277
cache-size.value 13
cache-hits.value 20422
cache-misses.value 70974
total-timeouts.value 32
total-timeouts-stale.value 0
total-failures.value 5203
total-failures-stale.value 0
dnssec-secure.value 0
dnssec-insecure.value 0
dnssec-bogus.value 0
dnssec-indeterminate.value 0

我已经能够使用这个 awk 脚本隔离这些值：

$ sudo resolvectl statistics|awk -F ":" {'print $2'}|awk NF
     0
 65227
    13
 20422
 70974
    32
     0
  5203
     0
     0
     0
     0
     0

我如何改变 awk 输出以添加到上面描述的标签？

awk