AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / unix / 问题 / 565235
Accepted
umar14
umar14
Asked: 2020-02-01 23:56:59 +0800 CST2020-02-01 23:56:59 +0800 CST 2020-02-01 23:56:59 +0800 CST

sed/awk:在最后一次出现 '.' 后替换一行中的数字

  • 772

我有以下 tcpdump 流:

Current:
07:36:03.848461 IP 172.17.3.41.33101 > 172.17.3.43.17408: UDP, length 44
07:36:03.848463 IP 172.17.3.42.33101 > 172.17.3.43.17409: UDP, length 44
07:36:03.848467 IP SYSTEM-A.33101 > 172.17.3.43.17418: UDP, length 45
07:36:03.848467 IP SYSTEM-B.33101 > 172.17.3.43.17419: UDP, length 45

端口号是十进制的。如何将其通过管道传输到 sed 或 awk 以修改流,使其与端口号相同的流更改为十六进制:

Expected:
07:36:03.848461 IP 172.17.3.41.814d > 172.17.3.43.4400: UDP, length 44
07:36:03.848463 IP 172.17.3.42.814d > 172.17.3.43.4401: UDP, length 44
07:36:03.848467 IP SYSTEM-A.814d > 172.17.3.43.440a: UDP, length 45
07:36:03.848467 IP SYSTEM-B.814d > 172.17.3.43.440b: UDP, length 45

如果我有端口号,我会使用它来将其转换为十六进制:

echo 33101 | sed  -e 's/.*://' | xargs printf "%x\n"
814d

我一直在尝试解决这个问题,但没有运气。如何'.'在流的第三和第五列中最后一次出现后替换端口号,然后动态将其更改为十六进制?

awk sed
  • 5 5 个回答
  • 225 Views

5 个回答

  • Voted
  1. Stéphane Chazelas
    2020-02-02T06:52:23+08:002020-02-02T06:52:23+08:00

    与perl:

    perl -pe 's/\s\S+\.\K\d+/sprintf "%x", $&/ge' < your-file
    

    它查找由一个空格 ( \s) 后跟一个或多个( +)非空格( \S) 的序列、一个点和一个或多个数字 ( \d+) 的序列组成的单词,并替换结束部分(其开头标有\K)用十进制$&格式的相同 ( ) x(g局部,替换被e评估为 perl 代码)。

    • 1
  2. Ed Morton
    2020-02-02T08:29:19+08:002020-02-02T08:29:19+08:00

    在每个 UNIX 机器上的任何 shell 中使用任何 awk:

    $ cat tst.awk
    function mkPortHex(fldNr,       port, sfx) {
        port = sfx = $fldNr
        sub(/.*\./,"",port)
        sub(/.*[0-9]/,"",sfx)
        sub(/[^.]+$/,sprintf("%x%s",port,sfx),$fldNr)
    }
    {
        mkPortHex(3)
        mkPortHex(5)
        print
    }
    
    $ awk -f tst.awk file
    07:36:03.848461 IP 172.17.3.41.814d > 172.17.3.43.4400: UDP, length 44
    07:36:03.848463 IP 172.17.3.42.814d > 172.17.3.43.4401: UDP, length 44
    07:36:03.848467 IP SYSTEM-A.814d > 172.17.3.43.440a: UDP, length 45
    07:36:03.848467 IP SYSTEM-B.814d > 172.17.3.43.440b: UDP, length 45
    

    使用 GNU awk 将第三个参数匹配():

    $ cat tst.awk
    function mkPortHex(fldNr) {
        match($fldNr,/(.*\.)([0-9]+)(:?)/,a)
        $fldNr = a[1] sprintf("%x",a[2]) a[3]
    }
    {
        mkPortHex(3)
        mkPortHex(5)
        print
    }
    
    $ awk -f tst.awk file
    07:36:03.848461 IP 172.17.3.41.814d > 172.17.3.43.4400: UDP, length 44
    07:36:03.848463 IP 172.17.3.42.814d > 172.17.3.43.4401: UDP, length 44
    07:36:03.848467 IP SYSTEM-A.814d > 172.17.3.43.440a: UDP, length 45
    07:36:03.848467 IP SYSTEM-B.814d > 172.17.3.43.440b: UDP, length 45
    
    • 1
  3. Best Answer
    RudiC
    2020-02-02T02:05:21+08:002020-02-02T02:05:21+08:00

    如果字段编号是恒定的 - 如您的问题字段 3 和 5 - 尝试

    awk '
    function CHX(FLD)   {n = split ($FLD, T, ".")
                         sub (T[n] "$", sprintf ("%X", T[n]), $FLD)
                        }
        {CHX(3)
         CHX(5)
        }
    1
    ' file
    07:36:03.848461 IP 172.17.3.41.814D > 172.17.3.43.4400 UDP, length 44
    07:36:03.848463 IP 172.17.3.42.814D > 172.17.3.43.4401 UDP, length 44
    07:36:03.848467 IP SYSTEM-A.814D > 172.17.3.43.440A UDP, length 45
    07:36:03.848467 IP SYSTEM-B.814D > 172.17.3.43.440B UDP, length 45
    

    例如,字段 5 中的尾随冒号:

    awk '
    function CHX(FLD)       {n = split ($FLD, T, "[^0-9]")
                             TRM = ""
                             if (!T[n])     {n--
                                             TRM = substr ($FLD, length($FLD))
                                            }
                             sub (T[n] TRM "$", sprintf ("%X%s", T[n], TRM), $FLD)
                            }
            {CHX(3)
             CHX(5)
            }
    1
    ' file
    
    • 0
  4. icarus
    2020-02-02T02:36:47+08:002020-02-02T02:36:47+08:00

    第一个应该问这是否明智,172.17.3.43.440a前 4 个句点分隔的字段是十进制的,而第 5 个是十六进制的看起来很奇怪。但是,让我们假设 OP 有充分的理由。

    OP 为我们提供了一些示例数据和所需的输出,这非常有帮助。

    OP 向我们展示了echo 33101 | sed -e 's/.*://' | xargs printf "%x\n"这让我们对他们的思维过程有了一些了解。这告诉我他们走错了路。他们想以某种方式分解线路(使用awk或sed基于标签),printf将其转换为十六进制,然后重新组装线路。对每一行重复。虽然显然这可以工作,但它非常慢。Unix 和 Linux 进程很便宜,但不是免费的。这种方法每行将使用许多进程,并且 tcpdump 流输出预计会有数百行。最好对每个文件只使用几个进程进行更改,因此如果可能的话,这具有合理的速度。

    所以关于工具的选择。标签建议sed和awk。我会拒绝sed。它是turing complete(假设有无限量的内存),因此可以做任何其他语言可以做的事情,但这并不意味着它会很容易或可读。如果我这样做,我可能会使用perlor python,但这awk是完全合理的,所以让我们使用它。

    awk程序自己循环遍历行,所以这是一个好的开始。OP 谈到了,third column但在查看所需的输出时,他们也想要第五个。他们不希望将第一列中的毫秒转换为十六进制,尽管那也是一个数字after last occurrence of '.'。所以有一个选择,我们是在第一列之后循环遍历每一列(在 awk 中称为“字段”)还是只执行第三和第五列?要么工作。让我们采取一般情况并完成所有列。这给了我们

        for(f=2;f<NF;f++){
           # do something with field f
        }
    

    现在我们需要查看该字段是否匹配.后跟一个数字,然后是一个可选:字段(因此我们转换原始数据中的第 5 个字段)。这可以通过正则表达式来完成,这是 Unix 推广的强大思想之一。

        for(f=2;f<NF;f++){
           if ($f ~ /\.[0-9][0-9]*:?$/) {
               # this field needs to be converted
           }
        }
    

    所以现在要做转换。用于match分解模式,sprintf 将其放回,得到最终程序

    #!/usr/bin/awk -f
    {
       for(f=2;f<NF;f++){
           if ($f ~ /\.[0-9][0-9]*:?$/) {
               match($f,/^(.*\.)([0-9][0-9]*)(:?)$/,a)
               $f=sprintf("%s%x%s",a[1],a[2],a[3])
           }
        }
        print
    }
    
    • 0
  5. umar14
    2020-02-03T20:38:58+08:002020-02-03T20:38:58+08:00

    谢谢大家的回答!他们都工作!但是我也想在这里发布我的解决方案。现在我知道我特别要求sed和awk为此,但我的输入是一个tcpdump流,我想将端口号修改为十六进制。所以我浏览了源代码并更改了以下几行:

    (void)snprintf(buf, sizeof(buf), "%u", i);

    至

    (void)snprintf(buf, sizeof(buf), "%x", i); // prints hexadecimal
    

    (void)snprintf(buf, sizeof(buf), "%u", i);

    至

    (void)snprintf(buf, sizeof(buf), "%x", i); // prints hexadecimal
    

    编译二进制文件,现在 tcpdump 以十六进制打印端口。

    • 0

相关问题

  • 如何改进这个字符转换脚本?

  • 如何删除两行之间的单行

  • 重新排列字母并比较两个单词

  • 多行文件洗牌

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    模块 i915 可能缺少固件 /lib/firmware/i915/*

    • 3 个回答
  • Marko Smith

    无法获取 jessie backports 存储库

    • 4 个回答
  • Marko Smith

    如何将 GPG 私钥和公钥导出到文件

    • 4 个回答
  • Marko Smith

    我们如何运行存储在变量中的命令?

    • 5 个回答
  • Marko Smith

    如何配置 systemd-resolved 和 systemd-networkd 以使用本地 DNS 服务器来解析本地域和远程 DNS 服务器来解析远程域?

    • 3 个回答
  • Marko Smith

    dist-upgrade 后 Kali Linux 中的 apt-get update 错误 [重复]

    • 2 个回答
  • Marko Smith

    如何从 systemctl 服务日志中查看最新的 x 行

    • 5 个回答
  • Marko Smith

    Nano - 跳转到文件末尾

    • 8 个回答
  • Marko Smith

    grub 错误:你需要先加载内核

    • 4 个回答
  • Marko Smith

    如何下载软件包而不是使用 apt-get 命令安装它?

    • 7 个回答
  • Martin Hope
    user12345 无法获取 jessie backports 存储库 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl 为什么大多数 systemd 示例都包含 WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky 如何将 GPG 私钥和公钥导出到文件 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll systemctl 状态显示:“状态:降级” 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim 我们如何运行存储在变量中的命令? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S 为什么 /dev/null 是一个文件?为什么它的功能不作为一个简单的程序来实现? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 如何从 systemctl 服务日志中查看最新的 x 行 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - 跳转到文件末尾 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla 为什么真假这么大? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis 在一个巨大的(70GB)、一行、文本文件中替换字符串 2017-12-30 06:58:33 +0800 CST

热门标签

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve