Perguntas[grep](unix)

Eu esperava que esses dois comandos fornecessem a mesma contagem de quantas linhas no meu arquivo contêm uma letra:

grep -c '[A-Z,a-z]' archive_for_TO.050225
11873
grep '[A-Z,a-z]' archive_for_TO.050225 | wc -l
11859

O arquivo é muito grande para ser postado aqui, mas eu me pergunto se há alguns casos/explicações comuns sobre o porquê de o segundo comando aparentemente encontrar 14 linhas correspondentes a menos que o primeiro. Por exemplo, isso indica que o arquivo de texto tem algumas inconsistências em como as linhas são separadas (retorno de caractere ou avanço de linha ou ambos)?

Estou tentando remover lixo dos diretórios rsyslog (principalmente muitos subdiretórios vazios ou subdiretórios com um único arquivo de log parcial), mas com todos os tipos de nomes diferentes, variando de palavras que parecem ter sido cortadas a 10 hifens. Pensei que a maneira mais fácil de fazer isso seria simplesmente procurar por qualquer coisa que eu precisasse e dizer que todo o resto é lixo, mas é aí que fica complicado.

Eu preciso manter

• os 5-10 arquivos/subdiretórios padrão que vêm como padrão sempre que eu crio um novo ouvinte rsyslog
• qualquer diretório que seja um nome de host (qualquer subdiretório que comece com "vd" ou "vp")
• qualquer diretório que seja um endereço IP.

Qualquer outra coisa pode ser excluída.

Eu considerei usar apenas grep e excluir qualquer coisa que correspondesse a esses termos de pesquisa e então ter uma listagem de diretório em um arquivo de texto que eu poderia usar como uma lista de entrada para remover, mas estou tendo problemas com os nomes de host, assim que eu digo "vp*" não recebo nada de volta. Além disso, a string que estou usando para puxar os endereços IP também está pegando datas.

Minha pesquisa atual se parece com:

egrep -av 'HEAD|GET|version|putenv|id|default|POST|status|rsyslog_stats' |
    grep -E "[^^][0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}" |
    grep -av "vp*" |
    grep -av "vd*"

Se alguém tiver alguma sugestão, eu agradeceria muito. Se eu conseguisse fazer isso funcionar, eu poderia executá-lo a cada 15-30 minutos e manter todos os meus diretórios de ouvintes do rsyslog limpos e não ingerir tanto lixo nos meus índices do Splunk.

Obrigado!

Estou usando Arch Linux/Debian Linux e quero uma lista de "identificadores" únicos em um arquivo ASCII txt. Aqui está um trecho dos dados que quero reduzir:

... (Received from VRW): wind ...
... (Received from 1a00): air_ ...
... (Received from 5710): air_ ...
... (Received from ####): air_ ...
... (Received from 15d8): air_ ...
... (Received from ####): air_ ...
... (Received from 6e9e): baro ...
... (Received from 6e9e): volt ...
... (Received from 6e9e): wind ...
... (Received from 6e9e): air_ ...

Devido ao grande tamanho do arquivo e aos inúmeros "identificadores" duplicados, quero gerar apenas identificadores exclusivos para que a saída fique assim:

... (Received from VRW): wind ...
... (Received from 1a00): air_ ...
... (Received from 5710): air_ ...
... (Received from ####): air_ ...
... (Received from 15d8): air_ ...
... (Received from 6e9e): baro ...

Melhor ainda seria simplesmente a lista de identificadores exclusivos, como 15d8, 6e9e, VRW, etc. Mas suspeito que isso seria muito mais difícil de fazer.

Das sugestões de perguntas semelhantes anteriores que tentei:

grep "(Received from" datafile.txt

e obtive uma lista enorme de identificadores, a maioria dos quais são repetições.

Eu também tentei:

grep "(Received from" datafile.txt | sort -u

mas não consegui dizer se fez alguma diferença

Eu também tentei:

parallel --tag --lb grep "Received from" {} | perl -ne '$seen{$_}++ or print;' ::: Data1.txt

o que provavelmente demonstra meu nível de ignorância nesses assuntos.

Frequentemente, uso grep para procurar algum texto em várias pastas, por exemplo

grep --include='*.csv' -nRHI --color=always 'pattern' Folder1 Folder2  

Gostaria de criar um alias algo como

alias MyGrep="grep --include='*.csv' -nRHI --color=always Folder1 Folder2"

para que da próxima vez que eu tiver algo para pesquisar, eu só precise

MyGrep 'pattern'

Entretanto, isso não funciona, pois o padrão de pesquisa precisa vir antes da lista de pastas.

Existe alguma solução alternativa para o alias?

ps. Posso usar uma função em vez disso, por exemplo

function MyGrep() { grep --include='*.csv' -nRHI --color=always "$@" Folder1 Folder2;}

então eu posso correr

MyGrep pattern

Mas estou curioso para saber se há uma solução alternativa via alias.

O único arquivo no meu diretório de trabalho atual é chamado test.txte seu conteúdo é simplesmente:

This is a little test file.

• Executando

  grep -in * -e 'te.?t file'
  

  não dá nenhuma partida .
• Mas escapar ?funciona:

  grep -in * -e 'te.\?t file'
  

  dá partida

Louco: Com a estrela *, as coisas são ao contrário!

• Sem escapar:

  grep -in * -e 'te.*t file'
  

  dá partida
• e escapar *não funciona:

  grep -in * -e 'te.\*t file'
  

  nenhuma partida

Por que os metacaracteres ?e são *tratados de forma diferente em relação ao escape?

Estou usando o tshark para decodificar rapidamente o protocolo SMPP, por exemplo:

tshark -i any -V -Y smpp

Isso mostrará, em tempo real, cada pacote SMPP, por exemplo

Short Message Peer to Peer, Command: Submit_sm, Seq: 8475778, Len: 215
    Length: 215
    Operation: Submit_sm (0x00000004)
    Sequence #: 8475778
    Service type: (Default)
    Type of number (originator): Alphanumeric (0x05)
    Numbering plan indicator (originator): Unknown (0x00)
    Originator address: \123\110\123\123\123aaa\123
    Type of number (recipient): Unknown (0x00)
    Numbering plan indicator (recipient): ISDN (E163/E164) (0x01)
    Recipient address: 44123456789
    .... ..00 = Messaging mode: Default SMSC mode (0x00)
    ..00 00.. = Message type: Default message type (0x00)
    00.. .... = GSM features: No specific features selected (0x00)
    Protocol id.: 0x43

Existe uma maneira de grep campos específicos e gerar somente estes? Eu tentei com:

tshark -i any -V -Y smpp | grep 'Operation|Type of number|Numbering plan indicator|Recipient address'

Mas não funciona. Eu tentei também com:

tshark -i any -V -Y smpp -T fields -e 'smpp.dest_addr_ton' -e 'smpp.destination_addr'

Mas isso produzirá apenas o valor e eu gostaria de produzir algo como;

Type of number (recipient): Unknown (0x00)
Numbering plan indicator (recipient): ISDN (E163/E164) (0x01)
Recipient address: 44123456789

Alguém poderia me dar um conselho? Obrigado, Lucas

Quero encontrar um regex ou perl oneliner para detectar duas linhas consecutivas que tenham as mesmas palavras na mesma ordem, mas os espaços iniciais, finais e a quantidade de espaços entre as palavras podem variar de uma linha para a outra. O regex deve excluir as linhas que não correspondem.

Eu uso essa regex para detectar linhas consecutivas idênticas.
^\s*(.*\S)(\s\n*\1)+$
Ela falha quando a quantidade de espaço em branco varia de uma linha para outra.

Eu tenho este texto de exemplo

Mary has a little lamb. The live near the mountain.
Mary has a little lamb. The live near the mountain.

vrfgrgru hfiughf iujhfuihgifughuir nuhuvhfug

Mary has  a little lamb. The live near the mountain.
  Mary has a little lamb. The live near the mountain.

 Mary has a little lamb.  The live near the mountain.
Mary has a little lamb. The live near the mountain.

fghurhg bojghirejyohi ndhguhyituhgi
gbshbsiughsf bnighriugh hurhgiurhgriu

 Elvis was the greatest singer of all time. He has 18 number one in billboard charts.
Elvis was the greatest singer  of all time. He has 18 number one in billboard charts.

sgfuhgdugusd vfjsng orjgoergo ejfio dsmnjn
fbdhsbfgdbhhbfhdsfdf

Mary has a little lamb. The live near the mountain.
 Mary has a little lamb. The live near the mountain.

gsete gerttrb oijoijoijoijoijoiojo gogoerijoi

jhoiyrei  erogjrijgtrio noifdo mkooi 

This has been the coldest winter in the last 20 years.
 This has  been the coldest winter in the  last 20 years.

Independentemente do número de espaços nas linhas, a regex deve exibir as linhas consecutivas que contêm as mesmas informações.

Não há três em uma fileira e não há linhas vazias entre as linhas correspondentes.

Estou lendo Design de Software para Flexibilidade (SDF) . O Exercício 2.10 pede para implementar o tradutor tanto para BRE quanto para ERE. O livro usa greppara testar a string traduzida como (a.c)em ERE para capturar algo como abcou adc.

Eu uso Arch Linux.

Pela especificação POSIX 9.3.3 BRE Special Characters, \+não é suportado pelo BRE.

Mas man grep"Expressões Regulares Básicas vs Estendidas" permite \+a opção padrão BRE .

A diferença acima parece estar implícita neste problema de especificações (referência deste controle de qualidade ):

O BRE corresponde ao tipo ed ou grep histórico

Mas edparece também apoiar\+ .

(Editado: este parágrafo está errado, pois este site não está em conformidade com o BRE quando a opção b está habilitada. (ab)Em vez de \(ab\)corresponderá a "ab".) https://www.regexplanet.com/advanced/postgresql/index.html pode suportar o mero BRE, mas é um pouco lento e não pode ser facilmente incorporado ao código do Scheme (estou aprendendo SICP e SDF, então não verifiquei a implementação do Http no Scheme. O livro acima usa shell para executargrep ). Eu uso expressão a\+ce entrada abcpara testar com a opção b habilitada. Mostra "regex_matches()" sendo "(nenhum)".

Então existe uma ferramenta regex seguindo exatamente o BRE?

Estou procurando um padrão grep para encontrar ocorrências de uma palavra em algum código (Python, se for importante).

Quero ignorar ocorrências que estejam dentro de uma palavra mais longa, dentro de strings ou dentro de comentários (se possível).

Então, se eu tivesse este código Python:

Variable = 5
print(Variable)
MyVariablePlusOne = 6
description = "This is Variable"
# I love Variable

Eu quero uma maneira de fazer grep Variableque corresponda apenas às duas primeiras linhas.

Quero inserir um endereço IP dentro dos arquivos de configuração do Nginx. Quero inserir o endereço IP com o readcomando, mas não quero armazenar a entrada em uma variável adicional. Então eu quero algo como:

grep -ir $(read) /etc/nginx/

Qual é a maneira correta de usar reado argumento interno?