主页 / unix / 问题

问题[awk](unix)

Martin Hope
Galaxy
Asked: 2023-09-23 15:43:22 +0800 CST
  • 5

输入文件是“id number1 number2 count”行，number1和number2都是上升的。

Barcode000000 48521 1855 0
Barcode000001 48621 1855 0
Barcode000002 48721 1855 1
Barcode000003 48821 1855 0
Barcode000004 48921 1955 20
Barcode000005 49021 1955 0

现在我用awk -v bin=100 '{print ($2-48521)/bin" "($3-1855)/bin" "$4}'.

如何从输入文件的第一行设置48521和？1855

awk
Martin Hope
zoomer
Asked: 2023-09-17 01:40:57 +0800 CST
  • 6

我正在尝试从 person.csv（如下）中删除行，条件是该人不是在过去 1 年出生的：

"Index","User Id","First Name","Last Name","Date of birth","Job Title"
"1","9E39Bfc4fdcc44e","new, Diamond","Dudley","06 Dec 1945","Photographer"
"3","32C079F2Bad7e6F","Ethan","Hanson","08 Mar 2014","Actuary"
"2","aaaaaaa, bbbbbb","Grace","Huerta","21 Jan 2023","Visual merchandiser"

因此，预期的输出如下所示（最后一行在不到一年的时间内被删除）：

"Index","User Id","First Name","Last Name","Date of birth","Job Title"
"1","9E39Bfc4fdcc44e","new, Diamond","Dudley","06 Dec 1945","Photographer"
"3","32C079F2Bad7e6F","Ethan","Hanson","08 Mar 2014","Actuary"

我尝试使用 awk 来执行以下操作：

awk -F , '{print $5 ....}' person.csv > output.csv

但是，无法弄清楚如何将每行日期与（今天减去 1 年）进行比较。

有时可以在双引号字段内使用双引号，例如（line1 field4）：

"Index","User Id","First Name","Last Name","Date of birth","Job Title"
"1","9E39Bfc4fdcc44e","new, Diamond","Dudley (aka "dud")","06 Dec 1945","Photographer"
"3","32C079F2Bad7e6F","Ethan","Hanson","08 Mar 2014","Actuary"
"2","aaaaaaa, bbbbbb","Grace","Huerta","21 Jan 2023","Visual merchandiser"

如果“sed”可以做到这一点，我也持开放态度。请任何帮助，谢谢！

awk
Martin Hope
alex kiarie
Asked: 2023-09-09 02:06:42 +0800 CST
  • 8

如果“;”中不存在第 3 列（描述），我想添加它 分隔文件。例子;

#Gene;Transcripts;Description;Group
gene1;G1a,G1b,G1c;gene1 is a good gene;6
gene2;G2a,G2b,G2c;gene2 is a funny gene;3
gene3;G3a,G3b;4
gene4;G4a;gene4 description;5
gene5;G5a,G5b;6

预期产出

#Gene;Transcripts;Description;Group
gene1;G1a,G1b,G1c;gene1 is a good gene;6
gene2;G2a,G2b,G2c;gene2 is a funny gene;3
gene3;G3a,G3b;No description;4
gene4;G4a;gene4 description;5
gene5;G5a,G5b;No description;6
awk
Martin Hope
paradroid
Asked: 2023-09-07 15:18:33 +0800 CST
  • 5
$ echo "$(lastlog | grep $USER | awk '{print $(NF-5)" "$(NF-3)" "$(NF-4)" "$(NF-2)" "$(NF-1)" "$(NF-0)}')"
Thu 7 Sep 05:56:35 +0100 2023

我想用or替换该+0100位，如果该值是（我知道这个输出可能取决于区域设置）。BSTGMT+0000

$(NF-1)我确实测试了有条件设置变量的值，但我不知道如何将变量放入 awk print 命令中。

我还想在（日期）是单个数字时在$(NF-5)和之间添加额外的空格，但在它是两位数时则不添加空格。$(NF-3)$(NF-3)

如何最好地做到这一点？

awk
Martin Hope
stephen ramnarine
Asked: 2023-08-23 08:53:05 +0800 CST
  • 6

我使用以下代码根据其他现有列的计算将两个新列（15 和 16）添加到 tab delim txt 文件中。

问题：新列数据显示在终端中，但文件未随列更新。当发送到另一个文件 ( code ... > Sample.....2.txt) 时，列会存在，但分隔符从制表符更改为空格。

需要：根据制表符分隔文件中现有列的计算，在一行代码中添加第 15 列和第 16 列。

文件：Sample1_RVDB_sort_unique.txt

代码：

awk '{$15 = ($4/$13)*100; $16 = ($4/$14)*100; print}' Sample1_RVDB_sort_unique.txt

数据

utg000001l  acc|GENBANK|MH883318.1|White    80.263  608 99  16  282 877 184245  184843  4.44e-120   438 2022    270609
awk
Martin Hope
Pixelbog
Asked: 2023-08-21 22:09:58 +0800 CST
  • 5

这有效：

cat /etc/passwd | awk -F':' '{print $1, $2, $3, $4, $5, $6, $7}'

...
root x 0 0 root /root /bin/bash
daemon x 1 1 daemon /usr/sbin /usr/sbin/nologin
...

这不起作用：

cat /etc/passwd | awk -F':' '{print $0}'

...
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
...

感谢您的帮助 ：）

awk
Martin Hope
Ajie Pahlevi
Asked: 2023-08-10 17:54:21 +0800 CST
  • 7

我试图找到一种方法来 grep 位于不同行的文件中的信息，其中一个模式是包含日期和时间的模式。

下面是输入

unwantedtext unwantedtext unwantedtext unwantedtext 8/1/2022 6:15 (1st required pattern using date and time format and the date and time can be changed)

unwantedtext unwantedtext unwantedtext unwantedtext 
unwantedtext unwantedtext INC-220721-00007628 (2nd required pattern)

同样在第二个文件中，某些第二模式并不总是位于第三行，但肯定位于与日期和时间信息不同的行中。

第二个模式始终以 INC 开头，然后是年月和日期信息

INC

始终将此 INC 放在前 3 位数字中

INC-YYMMDD

INC 之后是日期和时间

INC-YYMMDD-00000000

YYMMDD 之后是随机 8 位数字。

-

连字符始终作为第二个模式的分隔符

我期待以下输出

INC-220721-00007628,8/1/2022 6:15

对于测试，我使用 Windows CYGWYN，对于大量文件，我使用 CENTOS 7

预先感谢您的所有建议

awk
Martin Hope
Evan Harmon
Asked: 2023-07-21 01:15:40 +0800 CST
  • 5

我正在尝试处理一个文本文件并省略某个字符串文字（如果它出现在行尾）。例如：

来源：

ABC 123
DEF, characters I don't want
GHI, these characters are ok

期望的输出：

ABC 123
DEF
GHI, these characters are ok

如果我这样做grep -v ', characters I don't want$'，它会忽略整行。

我不能做一个简单的awk列，因为我想要子, these characters are ok字符串

我无法使用cut分隔符进行分割，因为分隔符需要是多个字符 ( , characters I don't want)。

使用Python，这将非常简单，例如：string.split(", characters I don't want", 1)[0]

（顺便说一句，我想知道在像这样的复杂情况下，当 Python 更具可读性和可维护性时，在哪些用例中使用 grep、awk 或 sed 与 Python 相比确实更可取。）

awk
Martin Hope
Ahmad Ismail
Asked: 2023-07-09 10:01:30 +0800 CST
  • 7

我有这样的数据：

['/org/gnome/settings-daemon/plugins/media-keys/custom-keybindings/custom0/', '/org/gnome/settings-daemon/plugins/media-keys/custom-keybindings/custom1/', '/org/gnome/settings-daemon/plugins/media-keys/custom-keybindings/custom2/', '/org/gnome/settings-daemon/plugins/media-keys/custom-keybindings/custom3/', '/org/gnome/settings-daemon/plugins/media-keys/custom-keybindings/custom4/', '/org/gnome/settings-daemon/plugins/media-keys/custom-keybindings/custom5/', '/org/gnome/settings-daemon/plugins/media-keys/custom-keybindings/custom6/', '/org/gnome/settings-daemon/plugins/media-keys/custom-keybindings/custom7/', '/org/gnome/settings-daemon/plugins/media-keys/custom-keybindings/custom8/', '/org/gnome/settings-daemon/plugins/media-keys/custom-keybindings/custom9/']

我希望每个值每行一个不带引号的值（以便我可以将其传送到另一个命令），例如：

/org/gnome/settings-daemon/plugins/media-keys/custom-keybindings/custom0/
/org/gnome/settings-daemon/plugins/media-keys/custom-keybindings/custom1/
....

awk -F'[][]' '{print $2}'删除方括号。我不明白如何进一步进行。

awk
Martin Hope
ehammer
Asked: 2023-07-04 10:20:56 +0800 CST
  • 7

我有一个包含几十万行的 csv，我正在尝试更改第二个字段中的日期格式。我还应该添加第二个字段有时根本没有填充。可悲的输入格式是DayofWeek MonthofYear DayofMonth Hour:Minute:Second Timezone Year

例子：

Mon Jul 03 14:48:54 EDT 2023

我想要的输出格式是YYYY-MM-DD HH:MM:SS 示例：

2023-07-03 14:48:54

我熟悉 sed，所以我得到了这个 sed 正则表达式替换行以使其格式几乎正确，但月份不是数字是一个问题。

sed -E "s/[A-Za-z]{3}\s([A-Za-z]{3})\s([0-9]{2})\s([0-9]{2}:[0-9]{2}:[0-9]{2})\s[A-Z]+\s([0-9]{4})/\4-\1-\2 \3/"

我认为不可能使用捕获组 1 在 sed 替换部分中运行 date 命令（但如果我错了，请纠正我）。

我不知道如何在 sed 命令完成后引用月份并使用 date 命令解析它，并且我认为最好在不将整个输出通过管道传输到另一个命令的情况下进行处理。该命令只是用于格式化其余数据的一长串管道命令中的一个。

看起来也许 awk 可以一次完成整个格式化，但我真的不知道如何很好地使用 awk。

将时间戳转换为正确格式的最有效方法是什么？

只是为了解决一些带有更多背景信息的评论：

此数据由将 csv 日志数据输出到文件的应用程序生成。这不是我的应用程序，并且没有对应用程序日志记录方式的配置控制。CSV 未引用（即使字段中的数据包含空格）并且空字段不包含任何内容。

我将 csv 数据直接加载到 mysql 数据库中。虽然时区通常是一个好主意，但该数据始终带有本地时间时间戳，并且在可视化数据（grafana）时，我不需要将其存储在 UTC 中，然后转换为 EDT 只是为了查看（为什么将时间转换为 UTC只是将其转换回 EDT）。另外，每个 csv 行都包含经度和纬度（因此，如果我想返回并将时间戳更改为 UTC，则不可能找出当地时间）。

我所做的额外格式化并不多，可能可以使用 awk 完成（同样，我不太熟悉那里的语法）。原始数据需要添加 ID 列，并且 qoutes 放置一些字段，并且有两种不同格式的两个日期时间字段，这并没有帮助。所以我的又长又可怕的管道通常看起来像这样：

cat file | add ID column | format timestamp in second csv field | format timestamp in third csv field | qoute any field with spaces | replace empty fields with \N > output file

我在 mysql 和空字段方面遇到了一些问题，所以我添加了显式的空字符。肯定有更好的方法来做到这一点，一旦我让整个过程正常工作，我将回顾并简化。

我非常感谢大家的回应。

awk