Início / unix / Perguntas / 423462
Accepted
Tom Brossman
Asked: 2018-02-12 13:45:06 +0800 CST

Excluir linhas no arquivo de log do servidor da web com mais de X dias?

  • 772

Estou executando o Nginx no Ubuntu com o formato de log 'principal' padrão, que produz uma saída como esta:

95.108.181.102 - - [11/Feb/2018:11:43:10 +0000] "GET /blog/ HTTP/1.1" 200 4438 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-"

Eu tenho um arquivo de log mestre que nunca gira, que eu uso com o GoAccess (software de análise/relatório de log). Desejo excluir linhas nesse arquivo com entradas de log com mais de 30 dias ou mais. Isso pode ser feito, de preferência com um bash one-liner?

Pretendo adicionar isso a um cronjob diário existente para produzir um relatório contínuo de 30 dias. Espero usar algo assim, mas não consigo fazer com que ele analise os logs corretamente:sed -i '/<magical-invocation-goes-here> --date="-30 days"/d' example.log

text-processing sed

1 respostas

  1. Best Answer

    Solução GNU awk:

    Amostra test.log:

    95.108.181.102 - - [11/Feb/2018:11:43:10 +0000] "GET /blog/ HTTP/1.1" 200 4438 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-"
95.108.181.102 - - [11/Aug/2017:11:43:10 +0000] "GET /blog/ HTTP/1.1" 200 4438 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-"
95.108.181.102 - - [01/Jan/2018:11:43:10 +0000] "GET /blog/ HTTP/1.1" 200 4438 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-"
95.108.181.102 - - [11/Feb/2018:11:43:10 +0000] "GET /blog/ HTTP/1.1" 200 4438 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-"

    awk -v m1_ago=$(date -d"-1 month" +%s) \
'BEGIN{ 
     split("Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec", month);
     for (i in month) m_nums[month[i]] = i
 }
 { split(substr($4,2), a, "[/:]") }
 mktime(sprintf("%d %d %d %d %d %d", a[3], m_nums[a[2]], a[1], a[4], a[5], a[6])) > m1_ago
' test.log > tmp_log && mv tmp_log test.log

    test.logConteúdo final :

    95.108.181.102 - - [11/Feb/2018:11:43:10 +0000] "GET /blog/ HTTP/1.1" 200 4438 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-"
95.108.181.102 - - [11/Feb/2018:11:43:10 +0000] "GET /blog/ HTTP/1.1" 200 4438 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-"
    • 1

relate perguntas