nginx: Log completa a solicitação/resposta com todos os cabeçalhos?

Para obter o corpo da solicitação enviado pelos visitantes, use client_body_in_file_only on;e registre o arquivo "temporário" no qual ele foi gravado nos logs anexando var $request_body_fileao formato de log. Os arquivos "temporários" estarão localizados no diretório client_temp por padrão.

Você também pode registrar cabeçalhos de solicitação $http_<header>e cabeçalhos enviados com $sent_http_<header>.

Se você tiver o corpo e os cabeçalhos da solicitação, poderá reproduzi-la e obter a resposta que seu visitante teve.

Além disso, algo como gor deve ser altamente considerado para que você possa reproduzir o tráfego em outro ambiente onde você possa deixar o nginx gravar esses arquivos temporários sem causar problemas de IO na produção (o nginx não os limpará com onvalor, é por isso que não é "temporário" nesse caso).

mitmproxy parece ser a ferramenta certa para fazer o que você está pedindo.

mitmproxy é um proxy man-in-the-middle interativo com capacidade SSL para HTTP com uma interface de console.

mitmdump é a versão de linha de comando do mitmproxy. Pense tcpdump para HTTP.

Características

• Intercepte solicitações e respostas HTTP e modifique-as rapidamente.
• Salve conversas HTTP completas para reprodução e análise posteriores.
• Reproduza o lado do cliente de uma conversa HTTP. Reproduza as respostas HTTP de um servidor gravado anteriormente.
• Modo de proxy reverso para encaminhar o tráfego para um servidor especificado.
• Modo proxy transparente em OSX e Linux.
• Faça alterações com script no tráfego HTTP usando Python.
• Os certificados SSL para interceptação são gerados em tempo real.

O modo de proxy reverso permitiria capturar a solicitação e a resposta da mesma forma que o Fiddler.

Eu estava procurando uma resposta para essa pergunta e encontrei isso: https://tarunlalwani.com/post/request-capturing-nginx-lua/

Basicamente, usa um script lua para reunir e registrar todos os cabeçalhos:

ngx.log(ngx.ERR, "REQUEST capturing started")
json = require("json")

function getval(v, def)
  if v == nil then
     return def
  end
  return v
end

local data = {request={}, response={}}

local req = data["request"]
local resp = data["response"]
req["host"] = ngx.var.host
req["uri"] = ngx.var.uri
req["headers"] = ngx.req.get_headers()
req["time"] = ngx.req.start_time()
req["method"] = ngx.req.get_method()
req["get_args"] = ngx.req.get_uri_args()


req["post_args"] = ngx.req.get_post_args()
req["body"] = ngx.var.request_body

content_type = getval(ngx.var.CONTENT_TYPE, "")


resp["headers"] = ngx.resp.get_headers()
resp["status"] = ngx.status
resp["duration"] = ngx.var.upstream_response_time
resp["time"] = ngx.now()
resp["body"] = ngx.var.response_body

ngx.log(ngx.CRIT, json.encode(data));

Em seguida, consulte-o na configuração do nginx:

location / {
    proxy_pass http://127.0.0.1:8081/;
    log_by_lua_file lua/request_logger.lua;
}

Para reunir o corpo, é necessário um bloco no nginx main.conf:

#we must declare variables first, we cannot create vars in lua
set $response_body '';

body_filter_by_lua_block {
    -- arg[1] contains a chunk of response content
    local resp_body = string.sub(ngx.arg[1], 1, 1000)
    ngx.ctx.buffered = string.sub((ngx.ctx.buffered or "") .. resp_body, 1, 1000)
    -- arg[2] is true if this is the last chunk
    if ngx.arg[2] then
      ngx.var.response_body = ngx.ctx.buffered
    end
}

O post linkado acima detalha isso muito melhor.