主页 / unix / 问题 / 563801
Accepted
Ken Ingram
Asked: 2020-01-24 22:38:23 +0800 CST

如何从 awk $NF 列中删除 CRLF

  • 772

我不确定如何表达这个问题，因为大多数答案都是关于\r\n从文件中删除的。

我有一个独特的问题，压缩文件是随机编号的，为了将它们与数据库记录正确关联，我需要列出文件内容并检查它们。

我正在使用这个解决方案 “在 bash 脚本中，如何逐行捕获标准输出”

这是一个很好的开始。

一些内容的名称带有空格，我找到了这个解决方案： 如何将第三列打印到最后一列？

我在尝试更新数据库记录时发现，该记录^M被插入到awk管道的结果中，但仅用于NF列。

不知道如何解决这个特定的故障。我看不到^M插入的位置，或者如何从最后一列中删除它。

我的代码

如果我剥离，这条线可以正常工作^M

filename="$(echo "$line" | awk '{if ($3 ~ /^M$/) {sub(/^M$/,"", $3)} printf $3; printf ""}')"

此行失败：

text="$(echo "$line" | awk '{for(i=6;i<NF+1;i++) {if ($i ~ /^M$/) {sub(/^M$/,"", $i)} } printf "%s ", $i; printf ""}')"

简化版失败：

text="$(echo "$line" | awk '{for(i=6;i<NF+1;i++) sub(/^M$/,"", $i) printf "%s ", $i; printf ""}')"

在vim/中 使用 Usingvi ^M创建没有效果。ctrl-V + <return key>\r\n

我正在使用cygwin，并且已经使用了很长时间，并且我*nix编写了其他运行良好的脚本。我发现由于某种原因，这个特定的运行awk正在添加^M到输出中。

我发现这个问题有一个类似的问题，但是我vim从一开始就创建了我的脚本，所以没有涉及基于 Windows 的编辑器。

如果我将该 windows 文件夹挂载为 samba 共享并从 linux 运行脚本，它会产生不带 a 的输出^M，所以此时我想知道这是一个错误还是其他什么。这真的很奇怪。

更新 我在 sub() 中使用 REGEX 导致字符串返回空，所以我没有正确理解如何清除 CRLF。

NF+1 是试图找出我在此之前使用 i<=NF 引入 CRLF 的结果。

bash shell-script

2 个回答

  1. 通过awk包括 GNUawk和mawkbusybox的一些实现awk（在基于 Linux 的系统上常见的 3 个实现，awk我相信 Cygwin 默认是 GNU），RS输入记录分隔符可以是正则表达式（而不是 POSIX 中的单个字符） .

    在这些中，您可以执行以下操作：

    awk -v RS='\r\n' '{print $NF}' < your-file.msdos

    处理这些文件，或者：

    awk -v RS='\r?\n' '{print $NF}' < your-file.msdos-or-unix

    能够处理带有\n分隔符或\r\n分隔符的两个文件。

    一些 MS-DOS 文件也倾向于最后一行不分隔，但awk也会在输出时修复它，因为它会在打印时将输出记录分隔符（ORS保留在此处）附加到所有记录。\n

    就默认字段拆分而言awk，您还会发现实现之间存在差异。POSIX 说它应该按照空白序列进行拆分，删​​除前导和尾随的序列。空白的概念取决于区域设置，并且至少包括 SPC 和 TAB。您会发现许多awk实现仅将其限制为 SPC 和 TAB 而与语言环境无关，许多实现还添加了 NL（仅当记录分隔符不是换行符时才相关）。

    busyboxawk 包括所有 ASCII 空格，因此包括CR, FF, VT. 所以在 busyboxawk中，默认情况下字段从不包含 CR。awk您可以通过gawk -v 'FPAT=[^[:space:]]'将 where 字段定义为非空白序列来实现与 GNU 相同的行为。

    还有一些注意事项：

    • 避免使用 shell 循环来处理文本，尤其是在这里，因为您已经在使用awkwhich 是处理文本的正确工具之一。
    • 不要用于echo任意数据
    • 第一个参数printf是格式，你不想在那里使用任意数据。printf "%s", $3如果要打印$3而不附加，请使用ORS，而不是printf $3。
    • printf ""是无操作的。它什么也没做。如果要打印换行符，请使用printf "\n"or print ""（后者ORS默认打印 , newline）。
    • 7
  2. Best Answer

    awk不识别^M字面，它将其识别为 CRLF 模式\r\n，因此您sub()可以直接使用 CR 字符表示，如下所示。此外，您不必检查该字段是否包含字符并进行替换。如果没有找到提到的模式，替换函数根本不做任何事情。因此，您只需要以下内容即可仅替换最后一列的 CR。

    awk '{ sub("\r", "", $NF); print $NF }'

    如果有多个列需要更换，请切换$NF到所需的相应列。

    如果您对文件末尾的所有列循环执行此操作，只需执行

    awk '{ for(i=6; i<=NF ; i++) { sub("\r", "", $i); printf "%s ", $i; } }'

    文件也只能有最大NF列并且$NF是最后一列值。将循环更改为运行直到NF访问最后一列值。

    • 1

相关问题