Perguntas[filesystems](computer)

Estou usando um stick USB 2.0 com 16 GB de armazenamento e tenho um instalador ISO de 2,8 GB. Ao atualizar este ISO para o stick, noto que a velocidade é muito lenta (5 minutos) em comparação com a cópia do próprio arquivo ISO para o stick (4 segundos).

Por que o flash demora 75 vezes mais do que apenas copiar o arquivo para uma partição existente?

Minha hipótese é que seja por causa do antigo sistema de arquivos ISO 9660 presente na ISO. Alguém pode confirmar que este sistema de arquivos é lento?

Também estou me perguntando se é possível fazer uma ISO com partições de sistemas de arquivos mais recentes (por exemplo, exFAT). Caso contrário, por que o ISO ainda é o formato padrão para imagens do instalador do sistema operacional? Se for possível, por que alguém decidiria contra o exFAT e usaria a ISO 9660?

Informações sobre a ISO:

> isoinfo -d -i EndeavourOS_Galileo-Neo-2024.01.25.iso
Setting input-charset to 'UTF-8' from locale.
CD-ROM is in ISO 9660 format
System id: 
Volume id: EOS_202401
Volume set id: 
Publisher id: ENDEAVOUROS <HTTPS://ENDEAVOUROS.COM>
Data preparer id: PREPARED BY MKARCHISO
Application id: ENDEAVOUROS LIVE/RESCUE CD
Copyright File id: 
Abstract File id: 
Bibliographic File id: 
Volume set size is: 1
Volume set sequence number is: 1
Logical block size is: 2048
Volume size is: 1347830
El Torito VD version 1 found, boot catalog is in sector 126

Joliet with UCS level 3 found.
SUSP signatures version 1 found
Rock Ridge signatures version 1 found
Rock Ridge id 'RRIP_1991A'
Eltorito validation header:
    Hid 1
    Arch 0 (x86)
    ID ''
    Cksum AA 55 OK
    Key 55 AA
    Eltorito defaultboot header:
        Bootid 88 (bootable)
        Boot media 0 (No Emulation Boot)
        Load segment 0
        Sys type 0
        Nsect 4
        Bootoff 7F 127

Desde já, obrigado!

Editar: também tentei atualizar o ISO usando:

dd bs=4M if=my.iso of=/dev/sda conv=fdatasync status=progress

Demorou 15 malditos minutos e aqui está o resultado:

2747269120 bytes (2.7 GB, 2.6 GiB) copied, 160 s, 17.2 MB/s2760355840 bytes (2.8 GB, 2.6 GiB) copied, 160.008 s, 17.3 MB/s
   
658+1 records in
658+1 records out
2760355840 bytes (2.8 GB, 2.6 GiB) copied, 856.116 s, 3.2 MB/s

Aqui estão algumas informações sobre as partições atualizadas:

> lsblk -f /dev/sda
NAME   FSTYPE  FSVER            LABEL       UUID                                 FSAVAIL FSUSE% MOUNTPOINTS
sda    iso9660 Joliet Extension EOS_202401  2024-01-25-18-25-14-00                              
├─sda1 iso9660 Joliet Extension EOS_202401  2024-01-25-18-25-14-00                              
└─sda2 vfat    FAT16            ARCHISO_EFI 8093-0377                 

Atualmente estou trabalhando em pesquisas relacionadas à história dos sistemas de arquivos.

Aparentemente, o Master Boot Record foi introduzido com o MS-DOS 2 em 1983, que também foi o primeiro DOS a suportar discos rígidos.

O MBR durou anos, em parte porque só começamos a atingir seus limites no início dos anos 2000.

Dadas as restrições da época, estou curioso para saber por que a IBM e a Microsoft adicionaram suporte para partições desde o início. Acredito que a inicialização dupla ainda não existia, nem a imagem de disco. Aparentemente, o FAT16 suportava discos de até 4 GB. O MS-DOS neste momento parece muito utilitário, então esse foi um recurso surpreendente para mim.

Por que as partições eram um recurso tão antigo e como as pessoas as usavam?

Como estou usando Synology para fazer backup de meus arquivos e sincronizá-los entre dispositivos, às vezes recebo NULcaracteres no final dos meus arquivos e às vezes 2 ou 3 linhas são excluídas aleatoriamente no final do arquivo.

Não sei se isso acontece em todos os lugares ou apenas no VS Code, mas acho que só acontece no VS Code, pois não percebi esse comportamento em nenhum outro app.
O que posso fazer para evitar que isso aconteça?

Estou usando Windows e WSL2 e às vezes Ubuntu (Dual Boot).

Se eu compactar uma pasta de uma partição NTFS, ela poderá ser extraída em um dispositivo ou sistema operacional que não consegue ler o sistema de arquivos NTFS?

De maneira mais geral, os arquivos zip preservam o sistema de arquivos da pasta descompactada de alguma forma?

Estou trabalhando em um projeto com conexão à Internet via satélite com apenas 130kB/dia (se usar mais fica muito caro).

Quero enviar o máximo possível de dados "úteis" todos os dias, mantendo-me abaixo de 130kB.

Eu li aqui (Como os nomes de arquivos são armazenados?) e aqui (Os metadados não ocupam tamanho?) que os metadados são armazenados em uma parte dedicada do sistema de arquivos, mas não está claro para mim quantos bytes isso "custará" para enviá-lo.

Se eu usar FTP, por exemplo, isso depende do sistema de arquivos de origem? No sistema de arquivos do servidor? Ou está relacionado ao protocolo FTP?

Falando em protocolo de transferência, qual é o mais econômico? Pesquisei um pouco no Google e parece que cada protocolo consome bits e bytes para handshake, verificações de integridade de dados, etc. mas não encontrei claramente qual é o mais econômico e quantos bytes são necessários para o gerenciamento do protocolo em si.

Eu li também sobre o tamanho do bloco. Este problema é relevante para transferência de dados ou é apenas para armazenamento de dados (neste último caso não é um problema)?

[EDITAR 08/11/2023 11:00]

Já estou trabalhando em seleção de dados, compactação de dados, tratamento de erros, etc. Estou mais familiarizado com esses assuntos, não os mencionei nesta pergunta porque não preciso de ajuda no momento, e se for o caso em no futuro farei uma pergunta separada.

Tenho 130kB/dia, digamos que 30kB são usados ​​pelo próprio protocolo. Minha dúvida não é como formatar meus dados para que eu possa enviar o máximo de valores possível dentro de 100kB, minha dúvida é: são mesmo 30kB? Mais? Menos? Claro que depende. Mas depende de quê? Na minha pergunta original listei algumas idéias que acrescento, preciso da sua experiência para saber se perdi alguma coisa e/ou para me ajudar a restringir minha pesquisa em direção a soluções leves.

Elementos de contexto:

Destina-se a instrumentos autônomos implantados na Antártica. Nenhuma solução relacionada a Lora é possível aí.

Os dados a serem enviados são dados de status e medição dos instrumentos. Os dados são armazenados localmente e recuperados “fisicamente” uma vez por ano. Os dados são usados ​​para verificar se algum parâmetro do instrumento deve ser modificado, para fazer alguma pré-análise e para preparar a manutenção anual.

Se um dia os dados forem perdidos ou não concluídos, não é muito problemático, não devem ser enviados no dia seguinte.

Eu tenho um HDD que ainda roda em um sistema Debian Stretch com kernel 4.9. O HDD também foi mkfs naquele kernel. Quando monto manualmente o HDD nele, há alguns ruídos de acesso curtos e quase inaudíveis.

Quando eu inicializo um Linux com kernel 5.15 ou 6.2 e monto o HDD lá, ele fica muito barulhento e barulhento por cerca de 8 segundos, aparentemente causado por acessos em todo o HDD, como uma espécie de verificação rápida intensiva.

Qual é a razão para isto? E se for possível: isso pode ser desabilitado ou pelo menos limitado a todas as X startups sem desvantagens?

Isso está relacionado a ter uma unidade portátil em um formato acessível para leitura e gravação em diferentes sistemas operacionais. Por exemplo, o NTFS pode ser acessado no Windows, é claro, no Linux com bastante facilidade e no macOS não tão facilmente, mas possível. Esses três manipulam permissões e atributos estendidos de maneiras diferentes. É possível que um arquivo, um diretório ou vários deles fiquem inacessíveis por causa das permissões ou dos atributos estendidos?

Por motivos principalmente acadêmicos, tenho aprendido a interpretar a execução da cadeia de clusters do bloco de atributos de dados de um registro MFT de um volume NTFS.

Assisti a um vídeo que mostra um exemplo. Aqui está o exemplo:

Bandeiras | Contagem de clusters | Primeiro cluster
41 02 f8 38 c7 01
21 02 c5 07
31 04 83 43 01
21 08 c0 fc
31 10 44 0b 00
31 01 f7 ef f9
21 1f c6 e7
21 10 6b 28
31 01 00 52 e4

Agora, o vídeo mostra algum software de edição de disco que está interpretando a saída hexadecimal. Isso é útil, porque o autor do vídeo pula completamente pelo menos 3 conceitos fundamentais:

1. O campo "Primeiro cluster" é cumulativo. Fácil o suficiente para descobrir se você usar uma calculadora.
2. O campo "First cluster" é um inteiro com sinal, para que possa navegar para trás no disco. Isso foi mais complicado de descobrir, mas eu entendi.
3. O terceiro conceito completamente ignorado é quando o byte menos significativo do campo "First cluster" é zero. Como esses campos são interpretados como little-endian e como esse é um campo de comprimento flexível (os sinalizadores dizem quantos bytes), então por que você teria zeros à esquerda?

Então, aqui está como eu calculo.

Bandeiras | Contagem de clusters | Primeiro cluster
41 02 f8 38 c7 01
2 clusters começando no cluster # 29.833.464
21 02 c5 07
2 mais clusters começando em 1.989 de 29.833.464, que é o cluster # 29.835.453
31 04 83 43 01
Mais 4 clusters começando em 82.819 de 29.835.453, que é o cluster # 29.918.272
21 08 c0 fc
8 mais clusters começando em 832 antes de 29.918, 272, que é o cluster nº 29.917.440
31 10 44 0b 00
16 mais clusters começando em 2.884 de 29.917.440, que é o cluster # 29.920.324
É aqui que minha matemática se desvia da matemática deles. Eles dizem cluster # 29.840.452. Preciso de ajuda aqui.
31 01 f7 ef f9
21 1f c6 e7
21 10 6b 28
31 01 00 52 e4

Como funciona a matemática quando você tem zeros à esquerda em um dos campos? Também tenho um exemplo separado em que os zeros à esquerda estão no campo "Contagem de clusters", não no campo "Primeiro cluster"; isso é tratado de forma diferente?"

Pesquisei bastante e não encontrei nada sobre esse assunto exato. Eu tenho um NAS Synology DS2018J com 2 discos de 4 GB cada e sistema de arquivos EXT4 em ambos. Quero alterar o sistema de arquivos de ambos para BTRFS e tenho em mente o seguinte:

• desativar um disco
• formatá-lo com BTRFS
• reativá-lo
• espere até sincronizar o conteúdo com o outro disco
• faça o mesmo com o outro disco

Eu sei que isso pode estar errado ou pode haver ainda mais etapas (não sei), mas não sou especialista nisso e não encontrei nada sobre o assunto, por isso estou perguntando.

Obrigado!

tendo visto este post

Uma SAN pode permitir acesso de gravação simultâneo ao mesmo arquivo de vários servidores?

Gostaria de perguntar como os servidores da web/banco de dados podem acessar o armazenamento compartilhado ao mesmo tempo, já que não é possível?

Obrigado