Início / unix / 问题

Perguntas[sed](unix)

Martin Hope
PRouleau
Asked: 2024-10-31 22:17:55 +0800 CST
  • 8

Quero traduzir:

  • "a b c syscall=257 success=yes"

no seguinte:

  • "a b c syscall=openat success=yes"

Gostaria de usar o grupo sed capturando regexp e substituição combinados com o uso do ausyscall aplicado ao número extraído pelo grupo regexp.

Tentei o seguinte no Linux/bash:

echo "a b c  syscall=257 success=yes" |
   sed -e "s:syscall=\([0-9]*\):SYSCALL="$(ausyscall 257)":"

Imprime: a b c SYSCALL=openat success=yesconforme o esperado.

Então eu tentei usar o grupo de captura #1 como argumento para ausyscall. Assim:

echo "a b c  syscall=257 success=yes" | 
   sed -e "s:syscall=\([0-9]*\):SYSCALL="$(ausyscall \1)":"

Isso invoca ausyscall 1which imprime write. Este não é o grupo capturado #1 (que tem um valor de 257).

Então tentei usar \\1, mas também não funcionou:

echo "a b c  syscall=257 success=yes" | 
   sed -e "s:syscall=\([0-9]*\):SYSCALL="$(ausyscall \\1)":"

Isso invoca ausyscall \1, então falha, imprime um erro em stderr( Unknown syscall \1 using x86_64 lookup table) e imprime a b c SYSCALL= success=yesem stdout.

Ele falha ao passar o valor capturado para ausyscall. Tentei com aspas simples, mas a chamada para ausyscall não é feita.

É possível usar sed dessa maneira?

  • Só estou interessado em saber se é esperado que isso seja possível com sed .
  • Sei que isso pode ser feito por outros meios (perl, script python, gawk, etc.), mas quero ver se é possível com sed e se o problema está relacionado a aspas ou algo assim.

É possível com sed ? Se sim, o que estou esquecendo?

sed
Martin Hope
ranjit abraham
Asked: 2024-10-10 22:45:52 +0800 CST
  • 7

Tenho muitos arquivos XML como abaixo, onde gostaria de substituir uma string por uma nova string. Não consigo fazer o comando sed funcionar nos arquivos XML.

<form version="1.1" theme="dark">
  <label>Forcepoint DLP Dashboard - LongTerm</label>
  <description>Activity for those with Long-Term Exceptions</description>
  <fieldset submitButton="false" autoRun="false">
    <input type="time" token="TimeFrame" searchWhenChanged="true">
      <label>Timeframe</label>
      <default>
        <earliest>-48h@h</earliest>
        <latest>now</latest>
      </default>
    </input>
  </fieldset>
  <row>
    <panel>
      <html>
        <p>Macros In Use:</p>
        <p>`ForcepointApprovedUSB` = Known Approved USB Devices</p>
        <p>`ForcepointKnownCDDVD` = Known CD/DVD Drives</p>
        <p>`ForcepointKnownMultiFunction` = Known Multi-Function Devices</p>
      </html>
    </panel>
  </row>
  <row>
    <panel>
      <title>Exception Info</title>
      <table>
        <search>
          <query>index=restricted_security 
sourcetype=forcepoint 
| rex field=_raw "(.*act=(?&lt;Action&gt;.*?)\s.*)"
| rex field=_raw "(.*duser=(?&lt;Device&gt;.*?)(:\s\d|;|\sfname=).*)"
| rex field=_raw "(.*duser=.*?;\s(?&lt;Serial&gt;.*?)\sfname=)"
| rex field=_raw "(.*fname=(?&lt;Filename&gt;.*?)\smsg=.*)"
| rex field=_raw "(.*fname=.:\\\(?&lt;RawFilename&gt;.*)(?:\s-\s.*)\smsg=.*)"
| rex field=_raw "(.*suser=(?&lt;Name&gt;.*)\scat=.*)"
| rex field=_raw "(.*loginName=.*\\\\(?&lt;Username&gt;.*)\ssourceIp=.*)"
| rex field=_raw "(.*sourceIp=(?&lt;IP&gt;.*)\sseverityType=.*)"
| rex field=_raw "(.*sourceHost=(?&lt;Source&gt;.*)\sproductVersion=.*)"
| rex field=_raw "(.*sourceServiceName=(?&lt;AlertType&gt;.*)\sanalyzedBy=.*)"
| eval Username=lower(Username)
| eval Action=if(isnull(Action),"-",Action)
| eval Serial=if(isnull(Serial),"-",Serial)
| eval EnumDeviceType=case(
    (`ForcepointApprovedUSB`),"ApprovedUSB",
    (`ForcepointKnownCDDVD`),"CDDVD",
    (`ForcepointKnownMultiFunction`),"MultiFunction",
    AlertType="Endpoint Applications" AND Device="Bluetooth","Bluetooth",
    AlertType="Endpoint Removable Media" AND Device="Windows Portable Device (WPD)","WPD",
    AlertType="Endpoint Removable Media" AND 
        Device!="Windows Portable Device (WPD)" AND NOT 
        (`ForcepointApprovedUSB`) AND NOT 
        (`ForcepointKnownCDDVD`) AND NOT 
        (`ForcepointKnownMultiFunction`),"UnApprovedUSB")
| join type=inner Username
[
    search
    index=restricted_security
    sourcetype=dlp_lt
    | rename UserID as Username
    | eval Check = "Yes"
    | fields Username,Check,Justification,Type,ExpireDate
]
| where isnotnull(EnumDeviceType) AND Check="Yes"
| eval Time=strftime(_time, "%B %d, %Y %H:%M %Z")
| dedup Username
| table Time Username Name Justification Type ExpireDate
| sort Name</query>
          <earliest>$TimeFrame.earliest$</earliest>
          <latest>$TimeFrame.latest$</latest>
        </search>
        <option name="drilldown">none</option>
        <option name="refresh.display">progressbar</option>
      </table>
    </panel>
  </row>
  <row>
    <panel>
      <title>Transfers By Those With Long-Term Exceptions</title>
      <table>
        <search>
          <query>index=restricted_security 
sourcetype=forcepoint 
| rex field=_raw "(.*act=(?&lt;Action&gt;.*?)\s.*)"
| rex field=_raw "(.*duser=(?&lt;Device&gt;.*?)(:\s\d|;|\sfname=).*)"
| rex field=_raw "(.*duser=.*?;\s(?&lt;Serial&gt;.*?)\sfname=)"
| rex field=_raw "(.*fname=(?&lt;Filename&gt;.*?)\smsg=.*)"
| rex field=_raw "(.*fname=.:\\\(?&lt;RawFilename&gt;.*)(?:\s-\s.*)\smsg=.*)"
| rex field=_raw "(.*suser=(?&lt;Name&gt;.*)\scat=.*)"
| rex field=_raw "(.*loginName=.*\\\\(?&lt;Username&gt;.*)\ssourceIp=.*)"
| rex field=_raw "(.*sourceIp=(?&lt;IP&gt;.*)\sseverityType=.*)"
| rex field=_raw "(.*sourceHost=(?&lt;Source&gt;.*)\sproductVersion=.*)"
| rex field=_raw "(.*sourceServiceName=(?&lt;AlertType&gt;.*)\sanalyzedBy=.*)"
| eval Username=lower(Username)
| eval Action=if(isnull(Action),"-",Action)
| eval Serial=if(isnull(Serial),"-",Serial)
| eval EnumDeviceType=case(
    (`ForcepointApprovedUSB`),"ApprovedUSB",
    (`ForcepointKnownCDDVD`),"CDDVD",
    (`ForcepointKnownMultiFunction`),"MultiFunction",
    AlertType="Endpoint Applications" AND Device="Bluetooth","Bluetooth",
    AlertType="Endpoint Removable Media" AND Device="Windows Portable Device (WPD)","WPD",
    AlertType="Endpoint Removable Media" AND 
        Device!="Windows Portable Device (WPD)" AND NOT 
        (`ForcepointApprovedUSB`) AND NOT 
        (`ForcepointKnownCDDVD`) AND NOT 
        (`ForcepointKnownMultiFunction`),"UnApprovedUSB")
| join type=inner Username
[
    search
    index=restricted_emn_security
    sourcetype=dlp_lt
    | rename UserID as Username
    | eval Check = "Yes"
    | dedup Username
    | fields Username, Check
]
| where isnotnull(EnumDeviceType) AND Check="Yes"
| eval Time=strftime(_time, "%B %d, %Y %H:%M %Z")
| table Time Username Name Action Source Filename Device Serial EnumDeviceType
| sort -Time</query>
          <earliest>$TimeFrame.earliest$</earliest>
          <latest>$TimeFrame.latest$</latest>
        </search>
        <option name="count">30</option>
        <option name="drilldown">none</option>
      </table>
    </panel>
  </row>
</form>

O padrão que eu gostaria de substituir é

index=restricted_security sourcetype=forcepoint

com

index=newname
sourcetype=forcepoint

Então qualquer padrão onde

index=restricted_security
sourcetype=forcepoint

deve ser substituído pelo novo valor.

Os arquivos XML têm muitas combinações como

index=restricted_security
sourcetype=someother value, index=someindex sourcetype=forcepoint

etc, mas não precisam ser substituídos.

Eu tentei muitos padrões como abaixo com muitas combinações de sed, mas não parece funcionar

sed 's/index=restricted_security\s\nsourcetype=forcepoint/index=restricted_security sourcetype=forcepoint/g'

Alguém pode me dizer como fazer para substituir isso?

sed
Martin Hope
Mister Smith
Asked: 2024-08-11 06:26:46 +0800 CST
  • 8

Portanto, como o GitHub removeu a guia de insights para contas não premium, estou tentando listar localmente inserções e exclusões em meu repositório git por dia.

Eu descobri esta maneira de imprimir o que quero:

git log --pretty="@%ad" --date=short --shortstat |  tr "\n" " " | tr "@" "\n"

Isso produz este tipo de saída:

2024-06-13   7 files changed, 400 insertions(+), 406 deletions(-) 
2024-06-12   3 files changed, 145 insertions(+) 
2024-06-12   5 files changed, 638 deletions(-) 
2024-06-12   1 file changed, 1 insertion(+), 1 deletion(-)

Observe os plurais em arquivo(s), inserção(ões) e exclusão(ões). Outro problema é que um commit pode não ter inserções ou exclusões (ou ambas, mas vamos ignorar este caso).

Então estou quase lá, só preciso extrair a data, inserções e exclusões e agrupar por data. Isso produzirá algum tipo de gráfico de “trabalho realizado por dia”.

Fiz esse regex para capturar os campos que tratam de todos os opcionais:

/^([0-9]{4}-[0-9]{2}-[0-9]{2})\s{3}[0-9]+\sfile(s)?\schanged,\s(([0-9]+)\sinsertion(s)?\(\+\))?(,\s)?(([0-9]+)\sdeletion(s)?\(\-\))?\s$/gm

Agora preciso obter o 1º, 4º e 8º grupos, por exemplo com sed:

echo "2024-06-13   7 files changed, 400 insertions(+), 406 deletions(-) " |
    sed -r 's/^([0-9]{4}-[0-9]{2}-[0-9]{2})\s{3}[0-9]+\sfile(s)?\schanged,\s(([0-9]+)\sinsertion(s)?\(\+\))?(,\s)?(([0-9]+)\sdeletion(s)?\(\-\))?\s$/\1 \4 \8/gm'

Isso produz a saída correta:

2024-06-13 400 406

Mas se a string de entrada não tiver inserções ou exclusões, sed simplesmente não imprimirá nada para esse grupo capturado. Ex.:

2024-06-13 400

E não tenho como saber se o número único são inserções ou exclusões.

Existe alguma maneira de extrair os grupos de cada linha, mas imprimir um "0" como espaço reservado se o grupo não existir? (não necessariamente apenas com sed e não necessariamente em um único comando).

sed
Martin Hope
liginity
Asked: 2024-07-01 22:42:50 +0800 CST
  • 7

Encontro o seguinte sedcomando no manualmake do .

sed 's,\($*\)\.o[ :]*,\1.o $@ : ,g'

E tem o seguinte efeito (este é um exemplo no manual):

main.o : main.c defs.h
# is turned into:
main.o main.d : main.c defs.h

No meu entendimento, '\($*\)\.o' pretende-se corresponder ao nome do arquivo filename.o, mas não entendo como '\($*\)'conseguir isso. Eu sei $que é especial no final de linha em uma expressão regular, mas isso não se aplica aqui.

Então, o que significa '\($*\)'aqui?

O código completo:

%.d: %.c
        @set -e; rm -f $@; \
         $(CC) -M $(CPPFLAGS) $< > $@.$$$$; \
         sed 's,\($*\)\.o[ :]*,\1.o $@ : ,g' < $@.$$$$ > $@; \
         rm -f $@.$$$$
sed
Martin Hope
ranjit abraham
Asked: 2024-06-28 08:20:35 +0800 CST
  • 7

Eu tenho um arquivo semelhante ao abaixo.

[object_category=file]
filesystem = enabled
[object_category=registry]
registry = enabled
[privilege_id=SeAuditPrivilege]
audit = enabled
[privilege_id=SeSecurityPrivilege]
audit = enabled
[selinux=disabled]
insecure = enabled
[shell=%2Fbin%2Fbash]
interactive = enabled
[shell=%2Fbin%2Fsh]

Estou tentando combinar padrões para que minha saída tenha apenas as seguintes linhas.

[selinux=disabled]
insecure = enabled

O comando que estou usando é

sed -n '/\[selinux=disabled\]/,/\[/p' myfilename

mas a saída que o comando fornece é a seguinte

[selinux=disabled]
insecure = enabled
[shell=%2Fbin%2Fbash]

eu não quero a última linha, ou seja, [shell=%2Fbin%2Fbash] . Mas de alguma forma o comando SED também está capturando essa linha. Qual será a opção mais simples para listar apenas o conteúdo que eu preciso, ou seja, como abaixo?

[selinux=disabled]
insecure = enabled
sed
Martin Hope
Polo1990
Asked: 2024-06-20 21:53:47 +0800 CST
  • 7

Usei socal para criar um servidor proxy entre 2 soquetes UNIX: /var/a.sock , /var/b.sock

client -> /var/a.sock -> MY_COMMAND -> /var/b.sock -> MY_COMMAND -> /var/a.sock ->client.

Os comandos a seguir funcionam bem apenas para client -> /var/a.sock -> /var/b.sock -> /var/a.sock -> client.

socat UNIX-LISTEN:/var/a.sock,fork 'UNIX-CONNECT:/var/b.sock

Eu preciso de mais uma coisa. Para substituir AAAA por BBBB antes de enviar

Como posso fazer isso, por favor?

sed
Martin Hope
Krackout
Asked: 2024-06-03 18:30:39 +0800 CST
  • 7

Estou tentando alterar uma string em vários arquivos de texto (configurações migradas para outro usuário). Eu usei este comando:

grep -iIlr "/home/user/.local" | xargs sed -i 's/\/home\/user\/\.local/~\/\.local/g'

também tentei isso:

grep -iIlr "/home/user/.local" | xargs -d '\n' sed -i "s/\/home\/user\/\.local/~\/\.local/g"

Eles não funcionam. Erros são produzidos por sed , a saída do comando é:

sed: can't read dir/file1: No such file or directory
sed: can't read dir/file2: No such file or directory
...
sed: can't read dir/file99: No such file or directory

O erro é produzido para cada arquivo (99 no total). O dir/file1..99 retornado é válido, é o caminho e nome de arquivo adequados para os arquivos.

grep sozinho produz a lista adequada de arquivos. Não há caracteres especiais nos nomes dos arquivos, acho que também não há espaços (não tenho certeza sobre isso). O xargs não está passando uma lista adequada?

SO: RHEL 8.10 totalmente atualizado,
GNU grep v 3.1,
GNU sed 4.5,
xargs (GNU findutils) 4.6.0

Adicionando a saída (exemplo das últimas linhas) do grep -iIlr "/home/user/.local"comando.

senha,~/.local/pipx

venvs/pipx/bin/pipx
venvs/pipx/bin/activate.fish
venvs/pipx/bin/activate-global-python-argcomplete
venvs/pipx/bin/activate.csh
venvs/pipx/pyvenv.cfg
venvs/pipx/lib/python3.11/site-packages/pipx_shared.pth
shared/bin/pip3.11
shared/bin/activate
shared/bin/pip3
shared/bin/pip
shared/bin/wheel
shared/bin/activate.fish
shared/bin/activate.csh
shared/pyvenv.cfg
sed
Martin Hope
Felipe Evaristo
Asked: 2024-05-25 02:52:03 +0800 CST
  • 5

Eu tenho um arquivo que contém o mesmo padrão várias vezes. Estou tentando realizar seduma série de operações apenas para a segunda ocorrência desse padrão. O arquivo fica assim:

pattern
line 1
line 2
line 3
...
pattern
line 4
line 5
line 6
...
pattern
line 7
line 8
line 9

Minha saída desejada é line 4. Atualmente tenho:

sed -n '/pattern/{n;p;q;}' file

impressão line 1. Como posso modificar meu comando para obter line 4? Estou usando a versão macOS do sed.

sed
Martin Hope
Albert
Asked: 2024-05-16 11:53:38 +0800 CST
  • 6

Estou tentando contar quantas vezes utilizo uma determinada versão de uma biblioteca no meu computador.

Por algum motivo, uniq -cestá gerando duplicatas, apesar de classificá-las e apesar da ordem de classificação parecer correta.

Alguma ideia ou feedback?

Obrigado pelo seu tempo.

Comuniq -c

Entrada:

rg --no-line-number --no-filename -g '*.csproj' "GitVersion.MsBuild" | sed -E '/GitVersion\.MsBuild" Version/!d;s/^\s\+//g;/<!/d;s/^.+(GitVersion.MsBuild)" Version="(.+)">/\1   \2/g' | sort -n | uniq -c

Saída:

      3 GitVersion.MsBuild      5.10.1
      1 GitVersion.MsBuild      5.10.1
      3 GitVersion.MsBuild      5.10.3
     11 GitVersion.MsBuild      5.11.1
      5 GitVersion.MsBuild      5.11.1
     25 GitVersion.MsBuild      5.12.0
      2 GitVersion.MsBuild      5.12.0
      1 GitVersion.MsBuild      5.6.11
      2 GitVersion.MsBuild      5.7.0
      4 GitVersion.MsBuild      5.8.1

Semuniq -c

Entrada:

rg --no-line-number --no-filename -g '*.csproj' "GitVersion.MsBuild" | sed -E '/GitVersion\.MsBuild" Version/!d;s/^\s\+//g;/<!/d;s/^.+(GitVersion.MsBuild)" Version="(.+)">/\1   \2/g' | sort -n

Saída:

GitVersion.MsBuild      5.10.1
GitVersion.MsBuild      5.10.1
GitVersion.MsBuild      5.10.1
GitVersion.MsBuild      5.10.1
GitVersion.MsBuild      5.10.3
GitVersion.MsBuild      5.10.3
GitVersion.MsBuild      5.10.3
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.11.1
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.12.0
GitVersion.MsBuild      5.6.11
GitVersion.MsBuild      5.7.0
GitVersion.MsBuild      5.7.0
GitVersion.MsBuild      5.8.1
GitVersion.MsBuild      5.8.1
GitVersion.MsBuild      5.8.1
GitVersion.MsBuild      5.8.1

Atualizei meu comando para canalizar xxdconforme sugestão de @kos. Isso ajudou na comparação.

rg --no-line-number --no-filename -g '*.csproj' "GitVersion.MsBuild" | sed -E '/GitVersion\.MsBuild" Version/!d;s/^\s\+//g;/<!/d;s/^.+(GitVersion.MsBuild)" Version="([0-9\.]+)">/\1     \2/g' | sort -n | uniq -c | xxd

Isso rendeu (desculpe pela captura de tela, mas ajuda ter as cores). insira a descrição da imagem aqui

Em seguida, revisei um pouco o regex (desculpe, não aceitei todas as sugestões, já que um pequeno ajuste fez com que funcionasse, mas devo dizer que aprendi muito com isso, inclusive usando xxd)

Eu simplesmente adicionei .*depois de >:

rg --no-line-number --no-filename -g '*.csproj' "GitVersion.MsBuild" | sed -E '/GitVersion\.MsBuild" Version/!d;s/^\s\+//g;/<!/d;s/^.+(GitVersion.MsBuild)" Version="([0-9\.]+)">.*$/\1  \2/g' | sort | uniq -c

E agora produz a saída correta (ou satisfatória de qualquer maneira):

      4 GitVersion.MsBuild      5.10.1
      3 GitVersion.MsBuild      5.10.3
     16 GitVersion.MsBuild      5.11.1
     27 GitVersion.MsBuild      5.12.0
      1 GitVersion.MsBuild      5.6.11
      2 GitVersion.MsBuild      5.7.0
      4 GitVersion.MsBuild      5.8.1

Obrigado equipe!

sed
Martin Hope
Yuki San
Asked: 2024-05-11 15:52:15 +0800 CST
  • 5

Eu tenho o seguinte texto em um arquivo:

#1713251479
sh lowbat.sh
#1713251495
nvim lowbat.sh
#1713252186
sh lowbat.sh

e quero colocar o carimbo de data/hora Unix alinhado com o comando assim:

#1713251479 sh lowbat.sh
#1713251495 nvim lowbat.sh
#1713252186 sh lowbat.sh

Eu tentei o seguinte comando sed:

sed -zE '/^#/ s/\n/ /g' file.txt
sed -E ':a;N;$!ba;/^#/ s/\n/ /g' file.txt

A operação de substituição é aplicada, mas a condição é ignorada. O que estou faltando aqui?

sed