AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / unix / Perguntas / 478314
Accepted
cat
cat
Asked: 2018-10-29 15:02:32 +0800 CST2018-10-29 15:02:32 +0800 CST 2018-10-29 15:02:32 +0800 CST

Escrever um arquivo atomicamente sem alterar os inodes (preservar o link físico)

  • 772

A maneira normal de escrever um arquivo atomicamente com segurança Xno Unix é:

  1. Grave o novo conteúdo do arquivo em um arquivo temporário Y.
  2. rename(2) YparaX

Em duas etapas, parece que não fizemos nada além de mudar X"no local".

Ele é protegido contra condições de corrida e perda de dados não intencional (onde Xé destruído, mas Yestá incompleto ou destruído).

A desvantagem (neste caso) disso é que ele não grava o inode referido por Xin-place; rename(2)faz Xreferência a um novo número de inode.

Quando Xera um arquivo com contagem de links > 1 (um link físico explícito), agora ele não se refere ao mesmo inode de antes, o link físico está quebrado.

A maneira óbvia de eliminar a desvantagem é escrever o arquivo no local, mas isso não é atômico, pode falhar, pode resultar em perda de dados etc.

Existe alguma maneira de fazer isso atomicamente, rename(2)mas preservar links físicos?

Talvez para alterar o número do inode de Y(o arquivo temporário) para o mesmo que X, e dar o Xnome? Um "renomear" no nível do inode.

Isso efetivamente escreveria o inode referido por Xwith Y's new contents, mas não quebraria sua propriedade de link físico e manteria o nome antigo.

Se o hipotético inode "rename" fosse atômico, acho que isso seria atômico e protegido contra perda de dados / corridas.

rename inode
  • 1 1 respostas
  • 898 Views

1 respostas

  • Voted
  1. Best Answer
    spectras
    2018-11-03T07:53:25+08:002018-11-03T07:53:25+08:00

    O problema

    Você tem uma lista (principalmente) exaustiva de chamadas de sistema aqui .

    Você notará que não há nenhuma chamada "substituir o conteúdo deste inode". Modificar esse conteúdo sempre implica:

    1. Abrindo o arquivo para obter um descritor de arquivo.
    2. busca opcional para o deslocamento de gravação desejado
    3. Gravando no arquivo.
    4. opcional Truncando dados antigos, se os novos dados forem menores.

    O passo 4 pode ser feito antes. Existem também alguns atalhos, como pwrite , que grava diretamente em um deslocamento especificado, combinando as etapas #2 e #3, ou escrita de dispersão .

    Uma maneira alternativa é usar um mapeamento de memória , mas fica pior, pois cada byte gravado pode ser enviado para o arquivo subjacente de forma independente (conceitualmente, como se cada gravação fosse uma writechamada de 1 byte).

    → O ponto é que o melhor cenário que você pode ter ainda são 2 operações: uma writee uma truncate.

    Qualquer que seja a ordem em que você os execute, você ainda corre o risco de outro processo mexer com o arquivo no meio e acabar com um arquivo corrompido.

    Soluções

    Solução normal

    Como você notou, é por isso que a abordagem canônica é criar um novo arquivo, você sabe que é o único escritor de (você pode até garantir isso combinando O_TMPFILEe linkat), então redirecione atomicamente o nome antigo para o novo arquivo.

    Existem duas outras opções, no entanto, ambas falham de alguma forma:

    Bloqueio obrigatório

    Ele permite que o acesso ao arquivo seja negado a outros processos definindo uma combinação especial de sinalizadores. Parece a ferramenta para o trabalho, certo? No entanto:

    • Ele deve ser ativado no nível do sistema de arquivos (é um sinalizador durante a montagem).
    • Aviso: a implementação do Linux de bloqueio obrigatório não é confiável.

      Desde o Linux 4.5, o bloqueio obrigatório tornou-se um recurso opcional. Esta é uma etapa inicial para remover completamente esse recurso.

    Isso é apenas lógico, pois o Unix sempre evitou os bloqueios. Eles são propensos a erros e é impossível cobrir todos os casos extremos e garantir nenhum impasse.

    Bloqueio consultivo

    Ele é definido usando a chamada de sistema fcntl . No entanto, é apenas um conselho, e a maioria dos programas simplesmente o ignora.

    Na verdade, só é bom para gerenciar bloqueios em arquivos compartilhados entre vários processos cooperando.

    Conclusão

    Existe alguma maneira de fazer isso atomicamente como rename (2), mas preservar links físicos?

    Não.

    Os inodes são de baixo nível, quase um detalhe de implementação. Muito poucas APIs reconhecem sua existência (acredito que a statfamília de chamadas seja a única).

    O que quer que você tente fazer provavelmente depende do mau uso do design dos sistemas de arquivos Unix ou simplesmente pedir demais para isso.

    Isso poderia ser um problema XY ?

    • 5

relate perguntas

  • Como substituir uma string em todos os nomes de pastas e arquivos [duplicado]

  • Como pode truncar um nome de arquivo após um determinado caractere

  • Remova caracteres de nomes de arquivos recursivamente

  • Krename: como reiniciar a numeração para cada pasta?

  • Renomeie (acrescentar) arquivos CSV em massa com base em um valor dentro

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Como exportar uma chave privada GPG e uma chave pública para um arquivo

    • 4 respostas
  • Marko Smith

    ssh Não é possível negociar: "nenhuma cifra correspondente encontrada", está rejeitando o cbc

    • 4 respostas
  • Marko Smith

    Como podemos executar um comando armazenado em uma variável?

    • 5 respostas
  • Marko Smith

    Como configurar o systemd-resolved e o systemd-networkd para usar o servidor DNS local para resolver domínios locais e o servidor DNS remoto para domínios remotos?

    • 3 respostas
  • Marko Smith

    Como descarregar o módulo do kernel 'nvidia-drm'?

    • 13 respostas
  • Marko Smith

    apt-get update error no Kali Linux após a atualização do dist [duplicado]

    • 2 respostas
  • Marko Smith

    Como ver as últimas linhas x do log de serviço systemctl

    • 5 respostas
  • Marko Smith

    Nano - pule para o final do arquivo

    • 8 respostas
  • Marko Smith

    erro grub: você precisa carregar o kernel primeiro

    • 4 respostas
  • Marko Smith

    Como baixar o pacote não instalá-lo com o comando apt-get?

    • 7 respostas
  • Martin Hope
    rocky Como exportar uma chave privada GPG e uma chave pública para um arquivo 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Wong Jia Hau ssh-add retorna com: "Erro ao conectar ao agente: nenhum arquivo ou diretório" 2018-08-24 23:28:13 +0800 CST
  • Martin Hope
    Evan Carroll status systemctl mostra: "Estado: degradado" 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim Como podemos executar um comando armazenado em uma variável? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S Por que /dev/null é um arquivo? Por que sua função não é implementada como um programa simples? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 Como ver as últimas linhas x do log de serviço systemctl 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - pule para o final do arquivo 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla Por que verdadeiro e falso são tão grandes? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis Substitua a string em um arquivo de texto enorme (70 GB), uma linha 2017-12-30 06:58:33 +0800 CST
  • Martin Hope
    Bagas Sanjaya Por que o Linux usa LF como caractere de nova linha? 2017-12-20 05:48:21 +0800 CST

Hot tag

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve