Análise de log AWStats - formato de log Nginx personalizado

Um possível problema está aqui:

log_format  main  '$remote_addr - $remote_user [$time_local]...

Configuração correspondente em AWStats:

LogFormat = "%host %logname %time1

E seu arquivo de log contém:

1.1.1.1 - - [12/Mar/2017:07:23:53 +1300]

%lognamecorresponde a apenas uma única string, ou seja, o nome de usuário fornecido na autenticação HTTP. Agora, seu arquivo de log contém dois traços, o primeiro de sua configuração e o segundo significa um nome de usuário vazio.

Assim, AWStats tenta interpretar o segundo traço como um carimbo de data/hora, e isso faz com que considere o registro como falhado.

Portanto, você precisa adicionar o traço à string de formato de log AWStats ou remover o traço do formato de log nginx.

Como observação, você não precisa citar seus últimos parâmetros ( $request_time, $upstream_cache_status, $sent_http_content_encoding) no nginx log, pois eles não podem conter espaços.

Você também pode usar %extraXna configuração do AWStats se quiser usar essas informações na construção de relatórios com base nesses fatos.

Eu finalmente consegui, após cerca de 6 horas de esforço. O principal problema era que eu tinha a configuração do site AWStats incorreta, mas não acho que meu formato de log Nginx ou minha string de formato AWStats estavam corretos também.

Aqui está o meu formato de log do Nginx em funcionamento. Este é o formato de log combinado Nginx padrão, que mapeia para awstats LogFormat=1, mais três campos extras que eu queria em meus logs

# /etc/nginx/nginx.conf
log_format combined_custom '$remote_addr - $remote_user [$time_local] '
                '"$request" $status $body_bytes_sent '
                '"$http_referer" "$http_user_agent" $host $request_time $upstream_cache_status';

Claro que tive que fazer com que meu servidor usasse essa configuração. Isso está no meu bloco de servidor.

# /etc/nginx/sites-enabled/example.com.conf
access_log  /var/log/nginx/access.log combined_custom;

Aqui está o arquivo de configuração do meu site AWStats. Isso estende o arquivo /etc/awstats/awstats.conf.local com valores específicos do site.

Observe que um problema foi que eu tinha o SiteDomain errado - omiti o "www" no início do meu domínio. A razão pela qual fiz isso foi porque pensei que "HostAliases" me permitiria adicionar o subdomínio www como um alias, mas não é para isso que serve. é para

Este parâmetro [HostAliases] é usado para analisar o campo de referência no arquivo de log e para ajudar o AWStats a saber se uma URL de referência é uma URL local do mesmo site ou uma URL de outro site.

# /etc/awstats/awstats.example.com.conf
# Path to you nginx vhost log file
LogFile="/var/log/nginx/access.log"

# Domain of your vhost
SiteDomain="www.example.com"

# Directory where to store the awstats data
DirData="/var/lib/awstats/example/"

# Other alias, basically other domain/subdomain that's the same as the domain above
HostAliases="localhost"

# Performance optimisation
DNSLookup=0

# This works with the Nginx combined log format
# LogFormat=1

# This is the equivalent of LogFormat=1
# LogFormat="%host %other %logname %time1 %methodurl %code %bytesd %refererquot %uaquot"

# This adds my custom fields
LogFormat="%host %other %logname %time1 %methodurl %code %bytesd %refererquot %uaquot %virtualname %other %other"

Não fui mais longe para fazer o AWStats funcionar, mas assim que o fizer, atualizarei esta postagem com qualquer coisa que achar complicada.

Obrigado a @Tero Kilkanen pela metodologia para resolver isso - ou seja, comece com o formato combinado e trabalhe para frente.