Craig Ringer's questions

GNU timetem exibição opcional de medições de E/S:

TIME="%I:%O" /usr/bin/time cp filea fileb
0:5488

mas quais unidades ele mede? Alguma ideia? O manual diz apenas

   %I     Number of filesystem inputs by the process.

   %O     Number of filesystem outputs by the process.

o que é menos do que útil.

Alguns testes sugerem que provavelmente são 512k blocos, dados e metadados:

$ TIME="%I:%O" /usr/bin/time dd if=/dev/zero of=foo bs=1 count=1024
1024 bytes (1.0 kB, 1.0 KiB) copied, 0.0120082 s, 85.3 kB/s
0:8

$ TIME="%I:%O" /usr/bin/time dd if=/dev/zero of=foo bs=1k count=1 conv=sync
1024 bytes (1.0 kB, 1.0 KiB) copied, 0.000354987 s, 2.9 MB/s
0:8

$ TIME="%I:%O" /usr/bin/time dd if=/dev/zero of=foo bs=1k count=1024
1048576 bytes (1.0 MB, 1.0 MiB) copied, 0.017763 s, 59.0 MB/s
0:2080

[craig@ayaki-localdomain personal-git]$ TIME="%I:%O" /usr/bin/time dd if=/dev/zero of=foo bs=1M count=1 conv=sync
1048576 bytes (1.0 MB, 1.0 MiB) copied, 0.0052077 s, 201 MB/s
0:2048

mas seria bom confirmar isso.

Alguém sabe de onde vem?

Estou trabalhando com um sistema que obtém um conjunto de 42 instantâneos rotativos diários do EBS de cada um de seus numerosos (40) volumes para fins de recuperação de desastres. Os volumes EBS são agregados em um volume RAID. Um conjunto de instantâneos consistentes é obtido congelando o sistema de arquivos durante a obtenção dos instantâneos. Cada volume individual tem apenas 2 TiB.

Durante o teste de DR, descobriu-se que leva mais de 24 horas para copiar os mais de 20 TiB de dados do aplicativo (banco de dados PostgreSQL, muitas tabelas grandes) de volumes baseados em instantâneos do EBS criados a partir dos instantâneos e em novos não instantâneos. volumes de backup. Isso ocorre com um paralelismo considerável na cópia, graças a 8 rsyncs trabalhando ao mesmo tempo em diferentes subárvores.

Se os dados não forem copiados para novos volumes EBS, o aplicativo baseado em PostgreSQL será executado como uma mosca no mel por muitos dias, presumivelmente até que os blocos do volume EBS sejam sujos, de modo que agora eles estejam diretamente no volume EBS, não vindo de o instantâneo.

Por contast, uma cópia dos mesmos dados de um conjunto de volumes EBS sem backup de instantâneo para outro leva apenas algumas horas, e fazê-lo com hardware "real" de escala semelhante leva muito menos novamente.

Por que eu estaria vendo diferenças de desempenho tão extremas entre volumes com backup de instantâneo e volumes simples?

Minha hipótese é que ele está copiando na gravação, portanto, limpe os blocos que não foram alterados, pois o instantâneo deve ser buscado separadamente. Se houver uma pilha de 40 instantâneos fazendo backup do volume, presumivelmente ele está tendo alguma dificuldade em localizar rapidamente o bloco no instantâneo mais recente em que aparece e buscá-lo.

Existe alguma maneira de forçar a AWS a pré-preencher de forma eficiente e linear todo o novo volume do EBS a partir do instantâneo, em vez de fazer uma cópia preguiçosa na gravação, como realmente parece fazer?

Alguma outra ideia para contornar isso? Um conjunto de instantâneos para DR é muito menos útil se a recuperação demorar mais de um dia.

(Relacionado a callbacks ou ganchos e séries reutilizáveis ​​de tarefas, em papéis Ansible ):

Existe alguma maneira melhor de anexar a uma lista ou adicionar uma chave a um dicionário no Ansible do que (ab) usando uma expressão de modelo jina2?

Eu sei que você pode fazer algo como:

- name: this is a hack
  shell: echo "{% originalvar.append('x') %}New value of originalvar is {{originalvar}}"

mas não há realmente nenhum tipo de meta-tarefa ou auxiliar para fazer isso?

Parece frágil, não documentado e depende de muitas suposições sobre como as variáveis ​​funcionam no Ansible.

Meu caso de uso são várias funções (extensões de servidor de banco de dados), cada uma precisa fornecer alguma configuração para uma função base (o servidor de banco de dados). Não é tão simples quanto anexar uma linha ao arquivo de configuração do servidor db; cada alteração se aplica à mesma linha , por exemplo, as extensões bdre pg_stat_statementsambas devem aparecer em uma linha de destino:

shared_preload_libaries = 'bdr, pg_stat_statements'

A maneira Ansible de fazer isso é apenas processar o arquivo de configuração várias vezes (uma vez por extensão) com um regexp que extrai o valor atual, analisa-o e o reescreve? Em caso afirmativo, como você torna isso idempotente em várias execuções?

E se a configuração for mais difícil de analisar e não for tão simples quanto acrescentar outro valor separado por vírgula? Pense em arquivos de configuração XML.

Autenticação de peer de usuários do PostgreSQL em soquetes unix por padrão, onde o usuário unix deve ser o mesmo que o usuário do PostgreSQL. Então, as pessoas freqüentemente usam suou sudopara se tornar o postgressuperusuário.

Muitas vezes vejo pessoas usando construções como:

sudo su - postgres

ao invés de

sudo -u postgres -i

e eu me pergunto por quê. Da mesma forma, eu vi:

sudo su - postgres -c psql

ao invés de

sudo -u postgres psql

Sem o líder , sudoas suversões fariam algum sentido se você estivesse em uma plataforma antiga sem o sudo. Mas por que em um UNIX ou Linux menos do que pré-histórico você usaria sudo su?