主页 / unix / 问题

问题[sed](unix)

Martin Hope
PRouleau
Asked: 2024-10-31 22:17:55 +0800 CST
  • 8

我想要翻译：

  • "a b c syscall=257 success=yes"

改为：

  • "a b c syscall=openat success=yes"

我喜欢使用sed组捕获正则表达式和替换，并结合使用 ausyscall 应用于正则表达式组提取的数字。

我在 Linux/bash 下尝试了以下操作：

echo "a b c  syscall=257 success=yes" |
   sed -e "s:syscall=\([0-9]*\):SYSCALL="$(ausyscall 257)":"

它打印：a b c SYSCALL=openat success=yes正如预期的那样。

然后我尝试使用捕获组 #1 作为 的参数ausyscall。像这样：

echo "a b c  syscall=257 success=yes" | 
   sed -e "s:syscall=\([0-9]*\):SYSCALL="$(ausyscall \1)":"

这将调用ausyscall 1which 打印write。这不是捕获的组 #1（其值为 257）。

因此我尝试使用\\1，但也失败了：

echo "a b c  syscall=257 success=yes" | 
   sed -e "s:syscall=\([0-9]*\):SYSCALL="$(ausyscall \\1)":"

这将调用失败，在 stderr( )ausyscall \1上打印错误并在 stdout 上打印。Unknown syscall \1 using x86_64 lookup tablea b c SYSCALL= success=yes

无法将捕获的值传递给 ausyscall。我尝试使用单引号，但无法调用 ausyscall。

可以这样使用sed吗？

  • 我只想知道是否能够用sed来做到这一点。
  • 我知道可以通过其他方式（perl、python 脚本、gawk 等）来完成，但我想看看是否可以用 sed 来完成，以及问题是否与引用或类似的东西有关。

使用sed可以实现吗？如果可以，我遗漏了什么？

sed
Martin Hope
ranjit abraham
Asked: 2024-10-10 22:45:52 +0800 CST
  • 7

我有许多如下所示的 XML 文件，我想用新字符串替换其中的字符串。我似乎无法让 sed 命令在 xml 文件上工作。

<form version="1.1" theme="dark">
  <label>Forcepoint DLP Dashboard - LongTerm</label>
  <description>Activity for those with Long-Term Exceptions</description>
  <fieldset submitButton="false" autoRun="false">
    <input type="time" token="TimeFrame" searchWhenChanged="true">
      <label>Timeframe</label>
      <default>
        <earliest>-48h@h</earliest>
        <latest>now</latest>
      </default>
    </input>
  </fieldset>
  <row>
    <panel>
      <html>
        <p>Macros In Use:</p>
        <p>`ForcepointApprovedUSB` = Known Approved USB Devices</p>
        <p>`ForcepointKnownCDDVD` = Known CD/DVD Drives</p>
        <p>`ForcepointKnownMultiFunction` = Known Multi-Function Devices</p>
      </html>
    </panel>
  </row>
  <row>
    <panel>
      <title>Exception Info</title>
      <table>
        <search>
          <query>index=restricted_security 
sourcetype=forcepoint 
| rex field=_raw "(.*act=(?&lt;Action&gt;.*?)\s.*)"
| rex field=_raw "(.*duser=(?&lt;Device&gt;.*?)(:\s\d|;|\sfname=).*)"
| rex field=_raw "(.*duser=.*?;\s(?&lt;Serial&gt;.*?)\sfname=)"
| rex field=_raw "(.*fname=(?&lt;Filename&gt;.*?)\smsg=.*)"
| rex field=_raw "(.*fname=.:\\\(?&lt;RawFilename&gt;.*)(?:\s-\s.*)\smsg=.*)"
| rex field=_raw "(.*suser=(?&lt;Name&gt;.*)\scat=.*)"
| rex field=_raw "(.*loginName=.*\\\\(?&lt;Username&gt;.*)\ssourceIp=.*)"
| rex field=_raw "(.*sourceIp=(?&lt;IP&gt;.*)\sseverityType=.*)"
| rex field=_raw "(.*sourceHost=(?&lt;Source&gt;.*)\sproductVersion=.*)"
| rex field=_raw "(.*sourceServiceName=(?&lt;AlertType&gt;.*)\sanalyzedBy=.*)"
| eval Username=lower(Username)
| eval Action=if(isnull(Action),"-",Action)
| eval Serial=if(isnull(Serial),"-",Serial)
| eval EnumDeviceType=case(
    (`ForcepointApprovedUSB`),"ApprovedUSB",
    (`ForcepointKnownCDDVD`),"CDDVD",
    (`ForcepointKnownMultiFunction`),"MultiFunction",
    AlertType="Endpoint Applications" AND Device="Bluetooth","Bluetooth",
    AlertType="Endpoint Removable Media" AND Device="Windows Portable Device (WPD)","WPD",
    AlertType="Endpoint Removable Media" AND 
        Device!="Windows Portable Device (WPD)" AND NOT 
        (`ForcepointApprovedUSB`) AND NOT 
        (`ForcepointKnownCDDVD`) AND NOT 
        (`ForcepointKnownMultiFunction`),"UnApprovedUSB")
| join type=inner Username
[
    search
    index=restricted_security
    sourcetype=dlp_lt
    | rename UserID as Username
    | eval Check = "Yes"
    | fields Username,Check,Justification,Type,ExpireDate
]
| where isnotnull(EnumDeviceType) AND Check="Yes"
| eval Time=strftime(_time, "%B %d, %Y %H:%M %Z")
| dedup Username
| table Time Username Name Justification Type ExpireDate
| sort Name</query>
          <earliest>$TimeFrame.earliest$</earliest>
          <latest>$TimeFrame.latest$</latest>
        </search>
        <option name="drilldown">none</option>
        <option name="refresh.display">progressbar</option>
      </table>
    </panel>
  </row>
  <row>
    <panel>
      <title>Transfers By Those With Long-Term Exceptions</title>
      <table>
        <search>
          <query>index=restricted_security 
sourcetype=forcepoint 
| rex field=_raw "(.*act=(?&lt;Action&gt;.*?)\s.*)"
| rex field=_raw "(.*duser=(?&lt;Device&gt;.*?)(:\s\d|;|\sfname=).*)"
| rex field=_raw "(.*duser=.*?;\s(?&lt;Serial&gt;.*?)\sfname=)"
| rex field=_raw "(.*fname=(?&lt;Filename&gt;.*?)\smsg=.*)"
| rex field=_raw "(.*fname=.:\\\(?&lt;RawFilename&gt;.*)(?:\s-\s.*)\smsg=.*)"
| rex field=_raw "(.*suser=(?&lt;Name&gt;.*)\scat=.*)"
| rex field=_raw "(.*loginName=.*\\\\(?&lt;Username&gt;.*)\ssourceIp=.*)"
| rex field=_raw "(.*sourceIp=(?&lt;IP&gt;.*)\sseverityType=.*)"
| rex field=_raw "(.*sourceHost=(?&lt;Source&gt;.*)\sproductVersion=.*)"
| rex field=_raw "(.*sourceServiceName=(?&lt;AlertType&gt;.*)\sanalyzedBy=.*)"
| eval Username=lower(Username)
| eval Action=if(isnull(Action),"-",Action)
| eval Serial=if(isnull(Serial),"-",Serial)
| eval EnumDeviceType=case(
    (`ForcepointApprovedUSB`),"ApprovedUSB",
    (`ForcepointKnownCDDVD`),"CDDVD",
    (`ForcepointKnownMultiFunction`),"MultiFunction",
    AlertType="Endpoint Applications" AND Device="Bluetooth","Bluetooth",
    AlertType="Endpoint Removable Media" AND Device="Windows Portable Device (WPD)","WPD",
    AlertType="Endpoint Removable Media" AND 
        Device!="Windows Portable Device (WPD)" AND NOT 
        (`ForcepointApprovedUSB`) AND NOT 
        (`ForcepointKnownCDDVD`) AND NOT 
        (`ForcepointKnownMultiFunction`),"UnApprovedUSB")
| join type=inner Username
[
    search
    index=restricted_emn_security
    sourcetype=dlp_lt
    | rename UserID as Username
    | eval Check = "Yes"
    | dedup Username
    | fields Username, Check
]
| where isnotnull(EnumDeviceType) AND Check="Yes"
| eval Time=strftime(_time, "%B %d, %Y %H:%M %Z")
| table Time Username Name Action Source Filename Device Serial EnumDeviceType
| sort -Time</query>
          <earliest>$TimeFrame.earliest$</earliest>
          <latest>$TimeFrame.latest$</latest>
        </search>
        <option name="count">30</option>
        <option name="drilldown">none</option>
      </table>
    </panel>
  </row>
</form>

我想要替换的模式是

index=restricted_security sourcetype=forcepoint

和

index=newname
sourcetype=forcepoint

因此任何模式

index=restricted_security
sourcetype=forcepoint

应被新值替换。

XML 文件有很多组合，例如

index=restricted_security
sourcetype=someother value, index=someindex sourcetype=forcepoint

等等，但它们不需要被替换。

我已经尝试了像下面这样的许多模式和许多 sed 的组合，但似乎不起作用

sed 's/index=restricted_security\s\nsourcetype=forcepoint/index=restricted_security sourcetype=forcepoint/g'

有人能指出如何替换它吗？

sed
Martin Hope
Mister Smith
Asked: 2024-08-11 06:26:46 +0800 CST
  • 8

因此，自从 GitHub 删除了非高级帐户的洞察选项卡后，我便尝试每天在本地列出我的 git 存储库中的插入和删除内容。

我想出了这种打印我想要的内容的方法：

git log --pretty="@%ad" --date=short --shortstat |  tr "\n" " " | tr "@" "\n"

这会产生这种输出：

2024-06-13   7 files changed, 400 insertions(+), 406 deletions(-) 
2024-06-12   3 files changed, 145 insertions(+) 
2024-06-12   5 files changed, 638 deletions(-) 
2024-06-12   1 file changed, 1 insertion(+), 1 deletion(-)

注意文件、插入和删除中的复数形式。另一个问题是提交可能没有插入或删除（或两者兼有，但我们忽略这种情况）。

我已经快完成了，我只需要提取日期、插入和删除并按日期分组。这将生成某种“每天完成的工作”图表。

我制作了这个正则表达式来捕获处理所有可选项的字段：

/^([0-9]{4}-[0-9]{2}-[0-9]{2})\s{3}[0-9]+\sfile(s)?\schanged,\s(([0-9]+)\sinsertion(s)?\(\+\))?(,\s)?(([0-9]+)\sdeletion(s)?\(\-\))?\s$/gm

现在我需要获取第 1、第 4 和第 8 组，例如sed：

echo "2024-06-13   7 files changed, 400 insertions(+), 406 deletions(-) " |
    sed -r 's/^([0-9]{4}-[0-9]{2}-[0-9]{2})\s{3}[0-9]+\sfile(s)?\schanged,\s(([0-9]+)\sinsertion(s)?\(\+\))?(,\s)?(([0-9]+)\sdeletion(s)?\(\-\))?\s$/\1 \4 \8/gm'

这样就能产生正确的输出：

2024-06-13 400 406

但是如果输入字符串没有插入或删除，sed 就不会为该捕获组打印任何内容。例如：

2024-06-13 400

我无法判断单个数字是插入还是删除。

有没有办法从每一行中提取组，但如果组不存在则打印“0”作为占位符？（不一定单独使用 sed，也不一定在单个命令中）。

sed
Martin Hope
liginity
Asked: 2024-07-01 22:42:50 +0800 CST
  • 7

我在手册中遇到了以下sed命令。make

sed 's,\($*\)\.o[ :]*,\1.o $@ : ,g'

并且有以下效果（这是手册中的一个例子）：

main.o : main.c defs.h
# is turned into:
main.o main.d : main.c defs.h

在我看来，'\($*\)\.o' 是为了匹配文件名filename.o，但我不明白如何'\($*\)'实现这一点。我知道$在正则表达式中， 位于行尾是特殊的，但这不适用于此处。

那么'\($*\)'这里的意思是什么？

完整代码：

%.d: %.c
        @set -e; rm -f $@; \
         $(CC) -M $(CPPFLAGS) $< > $@.$$$$; \
         sed 's,\($*\)\.o[ :]*,\1.o $@ : ,g' < $@.$$$$ > $@; \
         rm -f $@.$$$$
sed
Martin Hope
ranjit abraham
Asked: 2024-06-28 08:20:35 +0800 CST
  • 7

我有一个类似下面的文件。

[object_category=file]
filesystem = enabled
[object_category=registry]
registry = enabled
[privilege_id=SeAuditPrivilege]
audit = enabled
[privilege_id=SeSecurityPrivilege]
audit = enabled
[selinux=disabled]
insecure = enabled
[shell=%2Fbin%2Fbash]
interactive = enabled
[shell=%2Fbin%2Fsh]

我正在尝试模式匹配，以便我的输出只有以下几行。

[selinux=disabled]
insecure = enabled

我正在使用的命令是

sed -n '/\[selinux=disabled\]/,/\[/p' myfilename

但该命令提供的输出如下

[selinux=disabled]
insecure = enabled
[shell=%2Fbin%2Fbash]

我不想要最后一行，即 [shell=%2Fbin%2Fbash] 。但不知何故，SED 命令也捕获了该行。最简单的选项是什么，可以仅列出我需要的内容，即如下所示？

[selinux=disabled]
insecure = enabled
sed
Martin Hope
Polo1990
Asked: 2024-06-20 21:53:47 +0800 CST
  • 7

我使用 socal 在两个 UNIX 套接字之间创建代理服务器： /var/a.sock ， /var/b.sock

client -> /var/a.sock -> MY_COMMAND -> /var/b.sock -> MY_COMMAND -> /var/a.sock ->client。

以下命令仅适用于 client -> /var/a.sock -> /var/b.sock -> /var/a.sock -> client。

socat UNIX-LISTEN:/var/a.sock,fork 'UNIX-CONNECT:/var/b.sock

我还需要一件事。发送前将 AAAA 替换为 BBBB

请问我该怎么做？

sed
Martin Hope
Krackout
Asked: 2024-06-03 18:30:39 +0800 CST
  • 7

我正在尝试更改多个文本文件中的字符串（配置已迁移到其他用户）。我使用了以下命令：

grep -iIlr "/home/user/.local" | xargs sed -i 's/\/home\/user\/\.local/~\/\.local/g'

也尝试过这个：

grep -iIlr "/home/user/.local" | xargs -d '\n' sed -i "s/\/home\/user\/\.local/~\/\.local/g"

他们不工作。错误是由sed产生的，命令的输出是：

sed: can't read dir/file1: No such file or directory
sed: can't read dir/file2: No such file or directory
...
sed: can't read dir/file99: No such file or directory

每个文件都会产生错误（总共 99 个）。返回的 dir/file1..99 是有效的，它是文件的正确路径和文件名。

仅grep即可生成正确的文件列表。文件名上没有特殊字符，我认为也没有空格（对此并不完全确定）。xargs 传递的不是正确的列表吗？

操作系统：RHEL 8.10 已完全更新，
GNU grep v 3.1，
GNU sed 4.5，
xargs（GNU findutils）4.6.0

添加grep -iIlr "/home/user/.local"命令的输出（示例最后几行）。

密码，~/.local/pipx

venvs/pipx/bin/pipx
venvs/pipx/bin/activate.fish
venvs/pipx/bin/activate-global-python-argcomplete
venvs/pipx/bin/activate.csh
venvs/pipx/pyvenv.cfg
venvs/pipx/lib/python3.11/site-packages/pipx_shared.pth
shared/bin/pip3.11
shared/bin/activate
shared/bin/pip3
shared/bin/pip
shared/bin/wheel
shared/bin/activate.fish
shared/bin/activate.csh
shared/pyvenv.cfg
sed
Martin Hope
Felipe Evaristo
Asked: 2024-05-25 02:52:03 +0800 CST
  • 5

我有一个文件多次包含相同的模式。我试图sed仅在该模式第二次出现时执行一系列操作。该文件如下所示：

pattern
line 1
line 2
line 3
...
pattern
line 4
line 5
line 6
...
pattern
line 7
line 8
line 9

我想要的输出是line 4.我目前有：

sed -n '/pattern/{n;p;q;}' file

印刷line 1。我如何修改我的命令来获取line 4？我正在使用 macOS 版本的sed.

sed
Martin Hope
Albert
Asked: 2024-05-16 11:53:38 +0800 CST
  • 6

我试图计算我在计算机上使用某个版本的库的次数。

由于某种原因，uniq -c尽管对其进行了排序，并且尽管排序顺序似乎按顺序排列，但仍输出重复项。

有什么想法或反馈吗？

谢谢你的时间。

和uniq -c

输入：

rg --no-line-number --no-filename -g '*.csproj' "GitVersion.MsBuild" | sed -E '/GitVersion\.MsBuild" Version/!d;s/^\s\+//g;/<!/d;s/^.+(GitVersion.MsBuild)" Version="(.+)">/\1   \2/g' | sort -n | uniq -c

输出：

      3 GitVersion.MsBuild      5.10.1
      1 GitVersion.MsBuild      5.10.1
      3 GitVersion.MsBuild      5.10.3
     11 GitVersion.MsBuild      5.11.1
      5 GitVersion.MsBuild      5.11.1
     25 GitVersion.MsBuild      5.12.0
      2 GitVersion.MsBuild      5.12.0
      1 GitVersion.MsBuild      5.6.11
      2 GitVersion.MsBuild      5.7.0
      4 GitVersion.MsBuild      5.8.1

没有uniq -c

输入：

rg --no-line-number --no-filename -g '*.csproj' "GitVersion.MsBuild" | sed -E '/GitVersion\.MsBuild" Version/!d;s/^\s\+//g;/<!/d;s/^.+(GitVersion.MsBuild)" Version="(.+)">/\1   \2/g' | sort -n

输出：

GitVersion.MsBuild      5.10.1
GitVersion.MsBuild      5.10.1
GitVersion.MsBuild      5.10.1
GitVersion.MsBuild      5.10.1
GitVersion.MsBuild      5.10.3
GitVersion.MsBuild      5.10.3
GitVersion.MsBuild      5.10.3
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.6.11
GitVersion.MsBuild      5.7.0
GitVersion.MsBuild      5.7.0
GitVersion.MsBuild      5.8.1
GitVersion.MsBuild      5.8.1
GitVersion.MsBuild      5.8.1
GitVersion.MsBuild      5.8.1

我已经xxd按照 @kos 的建议更新了我的命令以进行管道传输。这有助于比较。

rg --no-line-number --no-filename -g '*.csproj' "GitVersion.MsBuild" | sed -E '/GitVersion\.MsBuild" Version/!d;s/^\s\+//g;/<!/d;s/^.+(GitVersion.MsBuild)" Version="([0-9\.]+)">/\1     \2/g' | sort -n | uniq -c | xxd

这就产生了（抱歉屏幕截图，但它有助于获得颜色）。 在此输入图像描述

然后我稍微修改了正则表达式（抱歉，我没有采纳所有建议，因为一个微小的调整使它起作用，但我不得不说我从中学到了很多东西，包括使用xxd）

我只是.*在之后添加>：

rg --no-line-number --no-filename -g '*.csproj' "GitVersion.MsBuild" | sed -E '/GitVersion\.MsBuild" Version/!d;s/^\s\+//g;/<!/d;s/^.+(GitVersion.MsBuild)" Version="([0-9\.]+)">.*$/\1  \2/g' | sort | uniq -c

现在它产生了正确的（或者无论如何令人满意的）输出：

      4 GitVersion.MsBuild      5.10.1
      3 GitVersion.MsBuild      5.10.3
     16 GitVersion.MsBuild      5.11.1
     27 GitVersion.MsBuild      5.12.0
      1 GitVersion.MsBuild      5.6.11
      2 GitVersion.MsBuild      5.7.0
      4 GitVersion.MsBuild      5.8.1

感谢团队！

sed
Martin Hope
Yuki San
Asked: 2024-05-11 15:52:15 +0800 CST
  • 5

我的文件中有以下文本：

#1713251479
sh lowbat.sh
#1713251495
nvim lowbat.sh
#1713252186
sh lowbat.sh

我想将 Unix 时间戳与命令内联，如下所示：

#1713251479 sh lowbat.sh
#1713251495 nvim lowbat.sh
#1713252186 sh lowbat.sh

我尝试了以下 sed 命令：

sed -zE '/^#/ s/\n/ /g' file.txt
sed -E ':a;N;$!ba;/^#/ s/\n/ /g' file.txt

应用了替换操作，但忽略了条件，我在这里缺少什么？

sed