Início / coding / Perguntas / 79099095
Accepted
merlin2011
Asked: 2024-10-18 00:41:09 +0800 CST

Por que o git log é significativamente mais lento ao gerar a saída para um tty?

  • 772

Em um grande monorepo (diretório .git de 10 GB), observei o seguinte comportamento.

# When outputing to a file, it is very fast:
time git  log   -2  > /tmp/X

real    0m0.076s
user    0m0.007s
sys     0m0.046s

# When outputting to the tty, it is more than 10x slower:
time git  log   -2
# ... Output omitted

real    0m0.830s
user    0m0.078s
sys     0m0.586s

Aqui estão todas as minhas configurações relacionadas ao log:

$ git config -l | grep log

log.mailmap=true
core.logallrefupdates=true

O que causa a diferença no desempenho e como posso obter o mesmo desempenho quando o git log está gerando saída para um tty?

Mais observações:

  • Em um repositório menor, git log -2é rápido mesmo ao enviar para tty, então o problema parece estar correlacionado com um repositório grande.

    real    0m0.057s
user    0m0.008s
sys     0m0.022s

  • O Cat no arquivo de saída é rápido, então não é apenas a escrita no stdout que é lenta.

    time cat /tmp/X
real    0m0.015s
user    0m0.001s
sys     0m0.005s

  • Forçar um tty com expect's unbuffertambém torna mais lento git log:

    time unbuffer git  log   -2 > /tmp/X

real    0m1.007s
user    0m0.104s
sys     0m0.669s

  • Em comparação, unbufferele próprio tem uma sobrecarga de ~240 ms:

    time unbuffer cat /tmp/X

real    0m0.239s
user    0m0.033s
sys     0m0.111s
git

2 respostas

  1. Com base na excelente sugestão de @LeGEC e em algumas experiências adicionais, parece que a causa da diferença é a decoração.

    Assim, temos os seguintes resultados:

    # Slow
time git log -2
real    0m0.838s
user    0m0.082s
sys     0m0.597s

time git log --format='%C(auto)commit %H%d%nAuthor: %an <%ae>%nDate:   %ad%n%n%w(0,4,4)%s%n%n%-b%-C()%n' -2
real    0m0.850s
user    0m0.086s
sys     0m0.607s


# Fast
time git log -2  --no-decorate
real    0m0.078s
user    0m0.009s
sys     0m0.055s

time git log --format='%C(auto)commit %H%nAuthor: %an <%ae>%nDate:   %ad%n%n%w(0,4,4)%s%n%n%-b%-C()%n' -2
real    0m0.053s
user    0m0.007s
sys     0m0.024s

time git log -2 | cat
real    0m0.068s
user    0m0.007s
sys     0m0.049s
    • 3
  2. Best Answer

    Conforme escrito em sua resposta, acho que você identificou a causa da sua lentidão: um número muito alto de referências no seu repositório local fica lento git logquando ele tenta imprimir a decoração para cada commit.

    Verifique que tipo de referências compõem a maior parte delas. Você pode comparar os seguintes números:

    wc -l .git/packed-refs  # total refs

git branch | wc -l      # local branches
git branch -r | wc -l   # remote branches
git tag --list | wc -l  # tags

    Se você descobrir que tem uma quantidade enorme de ramificações remotas: tente executar git fetch --prunepara se livrar de referências remotas (refs em refs/remotes/origin/*) que foram excluídas no upstream.

    Se os 3 números não somarem a quantidade total de linhas em packed-refs, verifique quais outras referências poderiam aumentar a contagem.

    • você pode verificar manualmente packed-refs: é apenas um arquivo de texto, uma linha por referência,
    • você pode tentar um pouco de script-foo na saída de git for-each-ref, por exemplo:
    git for-each-ref --format="%(refname)" | cut -d/ -f1-2 | sort | uniq -c

    cut -d/ -f1-2diz "use /como um separador de campo, mantenha apenas os 2 primeiros campos", você pode restringir os números mais altos e obter mais detalhes aumentando o segundo número em-f1-x

    # example: if you find out you have refs looking like `refs/history/*`:
git for-each ref --format=... refs/history | ... | cut -d/ -f1-3
    • 2

relate perguntas