Início / unix / 问题

Perguntas[awk](unix)

Martin Hope
Ismael Sanchez
Asked: 2025-02-22 00:26:19 +0800 CST
  • 8

Das informações abaixo:

$ cat access.dat
2025/01/01T10:00:01 "GET" /path/resource/api1 User1 500
2025/01/01T10:00:01 "DELETE" /path/resource/api1 User1 503
2025/01/01T04:00:01 "GET" /path/resource/api1 User1 500
2025/01/01T03:00:01 "GET" /path/resource/api1 User1 503
2025/01/01T05:00:01 "PUT" /path/resource/api1 User2 500
2025/01/01T06:00:01 "GET" /path/resource/api1 User1 200
2025/01/01T07:00:01 "GET" /path/resource/api1 User1 201
2025/01/01T08:00:01 "GET" /path/resource/api2 User1 500
2025/01/01T09:00:01 "POST" /path/resource/api2 User2 500
2025/01/01T10:00:01 "POST" /path/resource/api2 User1 400
2025/01/01T11:00:01 "GET" /path/resource/api2 User2 404

Estou tentando gerar um script awk com a instrução if else. Ao fazer isso

cat access.dat | awk '{if ($NF>=400) {print $0}} > failure.dat

o arquivo de saída é gerado com sucesso. Mas ao adicionar

cat access.dat | awk '{if ($NF>=400) {print $0} > failure.dat else {print$0} > success.dat}

está marcando erro. O que está errado no meu script awk? Como eu poderia gerar tanto failure.dat quanto success.dat dentro da instrução if/else?

Obrigado pela ajuda.

awk
Martin Hope
vrms
Asked: 2025-01-27 20:18:20 +0800 CST
  • 12

Eu tenho uma saída semelhante a

  975  Jan/21 - 19:59:36 ### sed "/^#include_dir/a include_dir = 'conf.d'" /opt/db/data/efa_bauen_ni_14/postgresql.conf
  986  Jan/21 - 20:04:21 ### grep -l "^port = '5" /opt/db/data/postgres/efa_bauen_ni/conf.d/*.conf | xargs sed -i "s/port = '5/port = '6/"

agora quero reduzir cada linha a tudo depois $5, para obter o comando completo real?

Acho que poderia fazer | awk {'print $6, $7, $8, $9, $10, $11'}... etc. Mas isso parece muito anticientífico, pouco flexível e feio.

Alguém pode me aconselhar como fazer isso ou estou no caminho errado awkpara começar?

awk
Martin Hope
peti27
Asked: 2025-01-16 00:20:57 +0800 CST
  • 4

Estou tendo uma saída semelhante ao arquivo (nome do arquivo qualquer.com) abaixo...

[...]~ # tmsh list sys file ssl-cert whatever.com_2024
sys file ssl-cert whatever.com_2024 {
    certificate-key-size 2048
    checksum SHA1:2520:ab40df7776dbbccb62345560511f2205d
    create-time 2024-08-12:19:34:07
    created-by x.y
    expiration-date 1754956799
    expiration-string "Aug 11 23:59:59 2025 GMT"
    fingerprint SHA256/D8:57:8E:8E:4A:1A:C3:3C:1B:6F:32:59:A7:36:66:92:6C
    issuer "CN=DigiCert Global G2 TLS RSA SHA256 2020 CA1,O=DigiCert Inc,C=US"
    key-type rsa-public
    last-update-time 2024-08-12:19:34:07
    mode 33188
    revision 1
    serial-number 0a:1d:ca:c7:09:7b:49:59:b2
    size 2520
    source-path /var/run/key_mgmt/RvGubB/ssl.crt/whatever.com_2024
    subject "CN=whatever.com,O=XYZ,L=Toronto,ST=Ontario,C=CA"
    subject-alternative-name "DNS:whatever.com"
    updated-by x.y
    version 3

Estou tentando gerar uma saída de comando com base nas informações acima na linha 17 (começando com o assunto)

cat whatever.com | awk 'BEGIN  {F=" "; FS = "\n"; RS = ""; OFS = "\n"} { print "openssl req -new -nodes -sha256 -newkey rsa:2048 -out "substr($1,RSTART+19,length($1)-25)"_2025.csr -keyout "substr($1,RSTART+19,length($1)-25)"_2025.key -subj "/"substr($17,RSTART+14,length($17)-14)"\""}'

A saída está parecendo boa

openssl req -new -nodes -sha256 -newkey rsa:2048 -out whatever.com_2025.csr -keyout whatever.com_2025.key -subj "/CN=whatever.com,O=XYZ,L=Toronto,ST=Ontario,C=CA"

No entanto, ele está usando uma substring da linha 1 que pode ser diferente da linha 17, então eu gostaria de obter o nome do arquivo em vez de usar substr($1,RSTART+19,length($1)-24) para ser gerado com base na string do formulário $17 entre "CN=" e ",O=".

Também seria possível modificar a saída para ficar assim se a linha 18 contivesse a string "DNS"...

openssl req -new -nodes -sha256 -newkey rsa:2048 -out whatever.com_2025.csr -keyout whatever.com_2025.key -subj "/CN=whatever.com,O=XYZ,L=Toronto,ST=Ontario,C=CA" -addext "subjectAltName = DNS:whatever.com"

Obrigado por todas as respostas rápidas. Os nomes de arquivo devem ser gerados dinamicamente a partir do arquivo. O exemplo incluso é apenas uma pequena seção da saída maior. A configuração BEGIN está lá para criar essas seções que, nesse ponto, podem ser manipuladas individualmente por linha.

Lidando com balanceadores de carga F5. Eles são baseados em Linux, mas não são exatamente construídos como servidores normais, o que torna alguns dos scripts desafiadores.

Eu encontrei uma solução usando split() mas agora tenho um problema diferente. Quando eu executo o comando sozinho, parece funcionar

 ~ # cat whatever.com | awk 'BEGIN  {F=" "; FS = "\n"; RS = ""; OFS = "\n"} {split($17,a,/,/); print substr(a[1],RSTART+17)}'
whatever.com

Entretanto, quando adicionado ao script original, ele acrescenta o número "5" na frente.

 ~ # cat whatever.com |  awk 'BEGIN  {F=" "; FS = "\n"; RS = ""; OFS = "\n"} { print "openssl req -new -nodes -sha256 -newkey rsa:2048 -out "split($17,a,/,/); print substr(a[1],RSTART+17)"_2025.csr -keyout "split($17,a,/,/); print substr(a[1],RSTART+17)"_2025.key -subj \"/"substr($17,RSTART+14,length($17)-14)"\""}' 

openssl req -new -nodes -sha256 -newkey rsa:2048 -out 5
whatever.com_2025.csr -keyout 5
whatever.com_2025.key -subj "/CN=whatever.com,O=XYZ,L=Toronto,ST=Ontario,C=CA"
awk
Martin Hope
Eddy Sorngard
Asked: 2024-12-27 16:43:51 +0800 CST
  • 4

Meu arquivo tem duas colunas contendo a data e a precipitação em mm para cada dia.

2024/01/01 5
2024/01/02 0
...
2024/12/26 15
2024/12/27 0

Agora multiplicarei a segunda coluna do arquivo após uma determinada data por uma constante.

awk '$2=$2*0.86'  <file>

multiplicará todos os valores da segunda coluna por 0,86.

Mas como posso multiplicar somente os valores após uma determinada data com a constante?

awk
Martin Hope
Christopher Karsten
Asked: 2024-12-15 23:39:08 +0800 CST
  • 8

Estou tentando obter texto entre caracteres especiais. Você pode seguir o abaixo para entender o que estou tentando obter. Tenho os comandos necessários para fazer isso, no entanto, estou procurando uma maneira mais eficiente, caso certas condições possam mudar com base no resultado.

Abaixo tem o texto On-Line (Prim) por exemplo. Quero extrair qualquer texto entre "--" 1ª e 2ª ocorrência.

Então eu tenho o texto abaixo na variável "VAL1"

IBM Informix Dynamic Server Version 14.10.FC10XA -- On-Line (Prim) -- Up 77 days 23:08:31 -- 130337920 Kbytes

Então atualmente estou usando o seguinte:

echo "$VAL1" | awk -F'--' '$1 ~ /Version/ {print $2}'

O acima fornece a saída abaixo:

 On-Line (Prim)

No entanto, você não consegue ver que há necessariamente um espaço em branco no final da linha, mas o início é bem perceptível. Quero garantir que eu imprima apenas as palavras entre "--" que excluam quaisquer espaços em branco antes e depois da frase dentro de "--".

Então tentei usar o seguinte, que para mim parece estar bom:

echo "$VAL1" | awk -F'--' '$1 ~ /Version/ {print $2}' | sed 's/^ //g' | sed 's/ *$//'

Saída:

On-Line (Prim)

Gostaria de saber se existe uma maneira melhor e mais fácil de fazer isso que seja mais suficiente?

awk
Martin Hope
Christopher Karsten
Asked: 2024-12-12 18:47:23 +0800 CST
  • 8

Estou tentando converter o formato de dados delimitado para saída de tabela de colunas HTML para impressão por e-mail e não tenho certeza de como usar o delimitador de barra vertical como separador para formatação tabular HTML.

Abaixo está o que eu poderia usar se um espaço fosse um separador, mas neste exemplo estou usando um pipeline (|).

awk ' BEGIN {
print "To: '[email protected]'"
#print "MIME-Version: 1.0"
print "Content-Type: text/html"
print "Subject: This is a test email"
print "<html><body><table border=1 cellspacing=0 cellpadding=3>"
print "<tr>"
print "<td>SID</td>";
print "<td>PID</td>";
print "<td>Username</td>";
print "<td>Database</td>";
print "<td>Hostname</td>";
print "<td>Program</td>";
print "<td>Connected</td>";
print "<td>Idle Time</td>";
print "<td>Query Time</td>";
print "<td>EST COST</td>";
print "<td>SEQ SCAN</td>";
print "<td>Query</td>";
print "</tr>"
} {
print "<tr>"
print "<td>"$1"</td>";
print "<td>"$2"</td>";
print "<td>"$3"</td>";
print "<td>"$4"</td>";
print "<td>"$5"</td>";
print "<td>"$6"</td>";
print "<td>"$7"</td>";
print "<td>"$8"</td>";
print "<td>"$9"</td>";
print "<td>"$10"</td>";
print "<td>"$11"</td>";
print "<td>"$12"</td>";
print "</tr>"
} END {
print "</table></body></html>"
} ' /home/test/test.unl | sendmail -t

Dentro do arquivo test.unl está o seguinte:

15422216|-1|dwhvo|test|pd244zax.test.corp|N/A|    10:56:53|    -0:00:30|10:57:22|1045127|1|SELECT sba_sub_aux.sba_subscriber_id, sba_sub_aux.sba_id_number, sba_sub_aux.sba_matchcode, sba_sub_aux.sba_marketing, sba_su|

Gostaria de obter o seguinte em formato de tabela por e-mail.

insira a descrição da imagem aqui

awk
Martin Hope
sylvainsab
Asked: 2024-12-09 01:40:28 +0800 CST
  • 5

Minha situação é simples: tenho um arquivo HTML com várias linhas contendo apenas a <section>tag de bloco recuada , cada linha seguida por uma <h3 id="YYYY">...</h3> tag de título (também recuada) .

Assim:

    <section>
        <h3 id="2024"><a href="index.fr.html#2024">fr</a> 2024 <a href="index.html#2024">en</a></h3>

Ao usar o link ancorado para ir para um ano específico dentro da página (ou sua tradução), o título do ano fica oculto atrás do <header>.

O problema seria resolvido trocando o idatributo uma linha acima da <h3>tag <section>,

assim:

    <section id="2024">
        <h3><a href="index.fr.html#2024">fr</a> 2024 <a href="index.html#2024">en</a></h3>

Existe um comando ou uma linha simples que me permita alternar todos esses idatributos da <h3>tag para a <section>tag uma linha acima? Não descobri como combinar várias linhas em BSD sedou especialmente awk.

sed 's:<section>\(\s*\)<h3\( id="\[0-9\]{4}"\):<section\2>\1<h3:g' index.html não altera o arquivo. Nem \n\t\tno lugar de \s, ou usando barras invertidas duplas escapa.

Existe uma opção para corresponder a caracteres de espaço como eu presumo GNU sedque seria? Talvez apenas a inserção/uso de novas linhas/tabulações diretamente no comando , mas eu gostaria de aprender melhor e também sou forçado, pois estou trabalhando remotamente e tenho que usar termuxem Android... Também não sou habilidoso o suficiente para usar uma awksolução alternativa.

awk
Martin Hope
Ed Morton
Asked: 2024-12-07 21:13:12 +0800 CST
  • 13

Usando a versão GNU de todas as 3 ferramentas (role para baixo para ver as tentativas do FreeBSD), se eu quisesse encontrar 'na entrada usando o awk com um 'script delimitado por -, poderíamos tentar corresponder usando as sequências de escape hexadecimais e octais:

$ echo "'" | awk '/\x27/'
'

$ echo "'" | awk '/\047/'
'

$ echo "'" | awk '/\o047/'
awk: cmd. line:1: warning: regexp escape sequence `\o' is not a known regexp operator

então os 2 primeiros funcionam e o 3º não, como você esperaria intuitivamente.

Agora vamos tentar o mesmo com sed (com ou sem -E):

$ echo "'" | sed -n '/\x27/p'
'

$ echo "'" | sed -n '/\047/p'
$

$ echo "'" | sed -n '/\o047/p'
'

e grep (também com ou sem -E):

$ echo "'" | grep '\x27'
grep: warning: stray \ before x

$ echo "'" | grep '\047'
grep: warning: stray \ before 0

$ echo "'" | grep '\o047'
grep: warning: stray \ before o

Então:

  1. Mais importante: por que eles são diferentes?
  2. Curiosidade secundária: Existe uma maneira de usar uma sequência de escape no grep para corresponder 'sem recorrer à opção não portátil do GNU grep -Pe sem expandir a sequência de escape antes que o grep a veja usando construções de shell como grep $'\047'?

Vale ressaltar que octal \047é a sequência de escape recomendada no awk (veja http://awk.freeshell.org/PrintASingleQuote ou https://web.archive.org/web/20230530010453/http://awk.freeshell.org/PrintASingleQuote se estiver inativo).

Para os propósitos desta questão, não estou interessado em alternativas que permitam literal 'ou o que qualquer outra ferramenta faz ou qualquer outra coisa, estou apenas tentando descobrir por que essas 3 ferramentas específicas de correspondência de regexp tratam sequências de escape ASCII de forma diferente umas das outras. Eu estaria, no entanto, interessado em aprender como o BSD ou outras variantes dessas 3 ferramentas se comportam, dados os mesmos scripts mostrados acima.

Informações adicionais:

FreeBSD

Este é o comportamento do FreeBSD 13.1:

% echo "'" | awk '/\x27/'
'
% echo "'" | awk '/\047/'
'
% echo "'" | sed -n '/\x27/p'
'
% echo "'" | sed -n '/\047/p'
% echo "'" | sed -n '/\o047/p'
sed: 1: "/\o047/p": RE error: trailing backslash (\)
% echo "'" | grep '\x27'
grep: trailing backslash (\)
% echo "'" | grep '\047'
%

POSIX

Veja o que os padrões POSIX para Expressões Regulares e as 3 ferramentas em questão dizem sobre isso:

Da especificação regexp vemos que nem xnem 0são "Caracteres Especiais" em um BRE ou ERE , portanto são "Caracteres Ordinários" e que

Quando não está dentro de uma expressão entre colchetes, a interpretação de um caractere comum precedido por um caractere sem escape é indefinida, exceto para:

seguido por listas de caracteres, nenhum dos quais inclui 0ou xpara BREs ou EREs, então minha conclusão é que nem \x27nem \047são comportamentos definidos em uma expressão regular por POSIX.

A seção Expressões Regulares da especificação POSIX awk diz:

\ddd
Um caractere seguido pela sequência mais longa de um, dois ou três caracteres de dígito octal (01234567). Se todos os dígitos forem 0 (ou seja, representação do caractere NUL), o comportamento é indefinido. Se os dígitos produzirem um valor maior que o octal 377, o comportamento é indefinido.

então sabemos que \0é definido para um awk POSIX, mas \xnão é, então o comportamento do awk \xnão é definido pelo POSIX para o awk e, portanto, é deixado para as várias implementações do awk.

A seção Expressões regulares da especificação POSIX sed adiciona algumas alterações ao regexp, mas não menciona \0or \xe remete às definições de regexp POSIX e, portanto, \0or \xnão são definidos pelo POSIX para sed.

A seção Descrição da especificação grep do POSIX se refere inteiramente às definições de expressões regulares do POSIX e, portanto \0, \xnão são definidas pelo POSIX para grep.

Então, aparentemente, o significado de \xddé deixado para os implementadores de ferramentas para grep, sed e awk, enquanto o significado de \0ddé definido para awk, mas deixado para os implementadores de grep e sed.

Manuais GNU

A seção Sequências de escape do manual do GNU awk diz:

\nnn
O valor octal nnn, onde nnn representa de 1 a 3 dígitos entre '0' e '7'. Por exemplo, o código para o caractere ASCII ESC (escape) é '\033'.

\xhh…
O valor hexadecimal hh, onde hh representa uma sequência de dígitos hexadecimais ('0'–'9', e 'A'–'F' ou 'a'–'f'). São permitidos no máximo dois dígitos após '\x'...

então é aí que \x47o GNU awk é definido.

A seção Sequências de Escape do manual do GNU sed diz:

\oxxx
Produz ou corresponde a um caractere cujo valor ASCII octal é xxx.

\xxx
Produz ou corresponde a um caractere cujo valor hexadecimal ASCII é xx.

então é onde \o047e \x27são definidos para o GNU sed.

O manual do GNU grep não contém nenhuma referência que eu tenha encontrado sobre sequências de escape hexadecimais ou octais, o que explica as mensagens de aviso que vemos quando tentamos usá-las e provavelmente significa que elas simplesmente não são suportadas no GNU grep.

awk
Martin Hope
MikiBelavista
Asked: 2024-11-21 22:46:04 +0800 CST
  • 3

Eu tenho linha

* {@jira: PIVOT-9968} Provide a way to pass an `IMemoryCollector` to `IInternalMemoryMonitored#getMemoryStatistics(memoryCollector)` in order to prevent the count of duplicated blocks.

Eu queria escapar apenas do primeiro que contém o número do tíquete(?). Escreva um script para adicionar barra invertida para meu problema anterior

* /{@jira: PIVOT-9968/} Provide a way to pass an `IMemoryCollector` to `IInternalMemoryMonitored#getMemoryStatistics(memoryCollector)` in order to prevent the count of duplicated blocks.

tentei

mawk '/^\* {@jira: PIVOT/ { gsub(/[{} ]/,"\\\\&") } 1' changelog.md > tmp && mv tmp changelog.md

e consegui

*\ \{@jira:\ PIVOT-8019\}\ Pivot:\ Added\ `MaxAppendOnlyFunction`\ and\ \ `MinAppendOnlyFunction`\ aggregation\ functions\ that\ do\ not\ support\ disaggregation\ but\ can\ be\ used\ within\ an\ aggregate\ provider.

o que devo mudar? gsub?

awk
Martin Hope
Gao
Asked: 2024-11-18 19:36:04 +0800 CST
  • 6

O arquivo INI é o profiles.ini do Firefox . Quero imprimir tudo sob , incluindo os cabeçalhos de seção, onde os 's são inteiros não negativos, com uma linha em branco separando cada seção. Há também uma chave opcional sob que é diferente das chaves sob as seções de perfis, e quero imprimi-la também, se presente. Basicamente, o script de shell era apenas e antes (para imprimir as chaves e valores opcionais , , e ), mas isso falhará se as chaves forem adicionadas ou excluídas, e a opção de grep não for portátil.[Profilen]nDefault[Install*]Defaultgrep -E 'Default=[^1]' profiles.inigrep -A4 '^\[Profile' profiles.iniNameIsRelativePathDefault-A

Aqui está minha solução hackeada, que não é idiomática nem robusta para o AWK:

/^[[]Profile[0123456789]{1,}[]]$/ {
    print
    while ((getline) > 0) {
        if ($0 ~ /^$/) { # Should really break on new sections.
            print ""
            break
        } else {
            print
        }
    }
}
/^Default=/ {
    print # Default profile path given in the Install* section.
}

Exemplo de entrada:

[Profile2]
Name=default-test
IsRelative=0
Path=/home/user/ffprofiles/f9bwn86n.default-test

[Profile1]
Name=default
IsRelative=1
Path=x64qf7nv.default
Default=1

[Profile0]
Name=default-release
IsRelative=1
Path=9hv1fbkk.default-release-3426201712696

[General]
StartWithLastProfile=1
Version=2

[Install22379532B4E49482]
Default=9hv1fbkk.default-release-3426201712696
Locked=1

Exemplo de saída:

[Profile2]
Name=default-test
IsRelative=0
Path=/home/user/ffprofiles/f9bwn86n.default-test

[Profile1]
Name=default
IsRelative=1
Path=x64qf7nv.default
Default=1

[Profile0]
Name=default-release
IsRelative=1
Path=9hv1fbkk.default-release-3426201712696

Default=9hv1fbkk.default-release-3426201712696

Como posso fazer isso de forma mais concisa e correta? A solução não precisa estar em AWK, mas acho que awk é mais adequado neste caso do que sed ou qualquer outro utilitário Unix. A solução, no entanto, deve ser portátil e compatível com POSIX. Obrigado antecipadamente.

awk