Início / unix / Perguntas / 411769
Accepted
xMaNuu
Asked: 2017-12-20 02:02:37 +0800 CST

leia o arquivo linha por linha e lembre-se da última posição no arquivo

  • 772

Eu quero grep alguma linha de um arquivo de log com uma entrada de outro arquivo. Estou usando este pequeno comando para fazer isso:

while read line; do 
    grep "$line" service.log; 
done < input_strings.txt > result.txt

input_strings.txttem cerca de 50.000 strings (uma por linha). Para cada uma dessas strings, estou pesquisando o service.logarquivo enorme (com cerca de 2.000.000 de linhas).

Então, digamos que a primeira string de input_strings.txtseja encontrada na service.loglinha 10 000, esta linha é gravada no meu arquivo result.txt. Depois disso, a 2ª string de input_strings.txtserá pesquisada em service.log, MAS iniciando na linha 1 de service.log.

Como posso me lembrar da última linha em que encontrei a primeira entrada service.log? Para que eu possa iniciar a 2ª busca por lá?

files read

2 respostas

  1. Best Answer

    Se você deseja obter as correspondências, não precisa usar um loop. Seria muito mais rápido usar apenas um único grepcomando:

    grep -Ff input_strings service.log > results.txt

    Dito isso, se você quiser fazer literalmente o que afirmou em sua pergunta, poderá usar uma variável para acompanhar a linha na qual a última correspondência foi encontrada:

    LINE_NUMBER=0
while read LINE; do

    # Search for the next match starting at the line number of the previous match
    MATCH="$(tail -n+${LINE_NUMBER} "service.log" | grep -n "${LINE}" | head -n1)";

    # Extract the line number from the match result
    LINE_NUMBER="${MATCH/:*/}";

    # Extract the matching string from the match result
    STRING="${x#*:}";

    # Output the matching string
    echo "${STRING}";

done < input_strings.txt > result.txt
    • 3

  2. Percebi que você deseja pesquisar a primeira palavra-chave e, em seguida, continuar na linha após essa correspondência para pesquisar a próxima palavra-chave etc., imprimindo as correspondências à medida que avança.

    Dado keywords:

    foo
bar

    E data:

    bar 0
foo 1
bar 1
foo 2

    O awkscript aqui deve fazer exatamente isso (testado com GNU awk): 

    $ awk 'BEGIN {i = j = 0} NR==FNR { k[i++] = $0; next} 
       $0 ~ k[j] {j++; print $0} j >= i {exit}' keywords data 
foo 1
bar 1

    ie jcomece em 0, e durante o primeiro arquivo ( NR==FNRcompara o número de registro/linha do arquivo atual com o número total de linhas vistas), coletamos as palavras-chave para um array. Depois disso, tente corresponder à jpalavra-chave :th e imprima e aumente jem uma correspondência. Sair depois que todas as palavras-chave forem encontradas.

    Assim como grep, as palavras-chave aqui são, na verdade, padrões regex, embora obviamente sejam awkregexes aqui. Se você deseja pesquisar strings fixas, use index($0, key)em vez de $0 ~ key.

    Como alternativa, sem carregar as palavras-chave no início:

    $ awk -vkeyfile=keywords 'BEGIN {getline key < keyfile } 
      $0 ~ key {print $0; if (!getline key < keyfile) exit;}' data
foo 1 
bar 1

    Isso deve ser direto.

    • 1

relate perguntas