Perguntas[filesystems](server)

O que preciso fazer é encolher o sistema de arquivos ext4 e então recriar a partição. No geral, sei o que precisa ser feito, o processo é bem direto. Mas tem uma coisinha que me deixa paranoico.

Se você ler a página do manual, ela começa com as palavras:

O programa resize2fs redimensionará sistemas de arquivos ext2, ext3 ou ext4. Ele pode ser usado para aumentar ou diminuir um sistema de arquivos não montado localizado no dispositivo.

Então, ok, parece que o cat shrink ext4 fs. Mas:

Se você deseja diminuir uma partição ext2, primeiro use resize2fs para diminuir o tamanho do sistema de arquivos. Então você pode usar fdisk(8) para diminuir o tamanho da partição. Ao diminuir o tamanho da partição, certifique-se de não torná-la menor que o novo tamanho do sistema de arquivos ext2!

Nenhuma menção ao sistema de arquivos ext4. Fazer um backup de toda a partição/fs não é uma opção, ou pelo menos, um grande inconveniente no meu caso.

Então, a questão é - alguém já tentou isso? Esse programa pode encolher um sistema de arquivos ext4?

Eu configurei a cota em um sistema de arquivos XFS e os usuários podem executar isso nesse servidor para obter seu relatório de cota:

xfs_quota -c 'quota -hu user' /xfs_partition

No entanto, gostaria que os usuários pudessem recuperar o uso da cota desse sistema diretamente de sua máquina na qual esta partição está montada via NFS, porque este servidor não é facilmente acessível.

Como posso conseguir isso?

Estou tentando ler um sistema de arquivos criptografado extraído de uma instalação do Fedora 38 no Rocky Linux 9.2. Quando conecto o SSD, aparece o seguinte erro:

Suponho que isso signifique (1) o sistema de arquivos padrão no Rocky Linux 9.2 é algo diferente do BTRFS e (2) tenho que recompilar meu kernel Linux com o módulo BTRFS (ou algo equivalente). Já se passaram muitos anos desde a última vez que fiz isso. Qual é a maneira moderna de fazer isso?

Estou limpando uma unidade com dd. É um dispositivo USB e 120GB e está demorando muito:

dd if=/dev/zero of=/dev/da0 bs=1M status=progress

Eu tentei mexer com o tamanho do bloco (valores menores e maiores bs=4M, bs=8Metc), mas nada parece fazer muita diferença. Está escrevendo sobre 7000 kB/so que é dolorosamente lento.

Não me importo em limpar os dados "com segurança", só quero que sejam apagados para que eu possa restabelecer a estrutura da partição e o sistema de arquivos do zero. Existe uma maneira alternativa (usando utilitários padrão) que pode executar uma limpeza rápida (dentro de um ou dois minutos) para esse tipo de cenário? O dispositivo em que estou trabalhando é o FreeBSD, mas acho que o comando dd (e gpart, etc) funciona de maneira semelhante entre ele e o Linux.

Dado um comando como robocopy "\\UNC1" "\\UNC2" /E /MT:128 /R:0 /W:0executado em uma estação de trabalho.

Os arquivos se movem assim

ou mais como

Eu tenho um sistema operacional Windows Server 2019 (Standard Edition) cuja partição fica sem espaço em alguns dias (C: tem 100 GB no total) travando o sistema operacional. Ele funciona como um controlador de domínio (DC) em uma pequena organização. Você só tem WinRAR, programa antivírus e Acronis True Image Services instalados; atualizações para o sistema operacional não são baixadas. Verifiquei os arquivos temporários e eles estão praticamente vazios; o programa antivírus dificilmente gera arquivos, os logs da Acronis são mínimos. O log de eventos do sistema é bem limitado. O arquivo de paginação está limitado a um máximo de 500 MB. A hibernação está desativada , é claro.

Observação: migrei este DC há vários anos do Windows Server 2003 para o Windows Server 2008 e no ano passado para o Windows Server 2019. Não acho que os objetos do controlador de domínio sejam suficientes para o banco de dados crescer para preencher 100 GB. Resta-me estender a partição C: e aumentar seu espaço livre tirando de outra partição (um único disco rígido instalado).

O que pode estar acontecendo?

Eu tenho um sistema muito rigoroso com o mínimo de aplicativos por motivos de segurança, já que trabalho com dados médicos.

Às vezes, os laptops que usamos atrapalham por um motivo ou outro, não inicializam, não podem fazer login, o processo de bot fica corrompido etc. Quando isso acontece, o laptop é enviado para mim pelo correio para reparo. Isso é demorado e caro.

Seria melhor se houvesse uma imagem compactada somente leitura do Mint com a imagem padrão que criei.

Infelizmente meus usuários não são confiáveis ​​com nada técnico. Posso orientá-los pelo telefone. É isso.

Existe uma maneira de restaurar o sistema operacional de um sistema squashfs e, em seguida, DD sobre o sistema original para que ele possa inicializar como deveria com os padrões?

Estou usando o ZFS em uma máquina Debian 9. Esta máquina funciona há anos sem nenhum problema até hoje.

O pool zfs é montado em cima de um sistema RAID, controlado por hardware (portanto, apenas uma unidade é exposta ao Linux como sda). Você pode ver a saída de "zpool status" abaixo.

Antes de continuar, basta mencionar que verifiquei a consistência do RAID e está tudo bem.

De repente, todos os acessos ao sistema de arquivos provocam o congelamento do comando (mesmo um comando ls) e, eventualmente, preciso reinicializar a máquina manualmente.

Ao executar zpool status -v, a saída é:

#/sbin/zpool status -v
  pool: export
 state: ONLINE
status: One or more devices has experienced an error resulting in data
        corruption.  Applications may be affected.
action: Restore the file in question if possible.  Otherwise restore the
        entire pool from backup.
   see: http://zfsonlinux.org/msg/ZFS-8000-8A
  scan: scrub repaired 0B in 53h4m with 0 errors on Tue Mar 15 05:28:38 2022
config:

        NAME        STATE     READ WRITE CKSUM
        export      ONLINE       0     0     0
          sda       ONLINE       0     0     0

errors: Permanent errors have been detected in the following files:

        export/home:<0x0>
        export/home:<0x2b2ed23>
        export/home:<0x2e1183b>
        export/home:<0x2b2e849>
        export/home:<0x1d0b5b1>

Então, a questão principal é: Qual é o significado desses arquivos? Como faço para corrigir esse problema?

Agradeço antecipadamente!

Estou tentando lidar com um caso de canto muito raro em que meu sistema tem uma pequena corrupção no sistema de arquivos ext4. Este acionador do systemd emergency.servicee estou tentando alterar o comportamento dele para corrigir automaticamente o fs.

De qualquer forma, existe alguma maneira de alterar ligeiramente a partição/sistema de arquivos para induzir esse estado com chance mínima de perda de dados? Só preciso fsckretornar que algo está errado.

Recebo esse erro FileNotFoundError: [Errno 2] No such file or directoryquando tento gravar um arquivo csv no bucket, usando um gravador csv que faz um loop em lotes de dados. O insight completo sobre os registros do Cloud Function em torno desse erro:

File "/workspace/main.py", line 299, in write_to_csv_file with
open(filepath, "w") as outcsv: FileNotFoundError: [Errno 2] No such
file or directory: 'gs://MY_BUCKET/MY_CSV.csv'

Function execution took 52655 ms, finished with status: 'crash' 

OpenBLAS WARNING - could not determine the L2 cache size on this
system, assuming 256k  ```

E isso, embora este bucket_filepath definitivamente exista: posso fazer upload de um arquivo fictício vazio e obter seu "gsutils URI" (clique com o botão direito do mouse nos três pontos no lado direito do arquivo) e o bucket_filepath terá a mesma aparência: 'gs://MY_BUCKET/MY_CSV.csv'.

Eu verifiquei salvar um dataframe de pandas fictício usando pd.to_csve funcionou com o mesmo bucket_filepath (!).

Portanto, deve haver outro motivo, provavelmente o gravador não é aceito, ou o with statementque abre o arquivo.

O código que gera o erro é o seguinte. É com o mesmo código trabalhando fora do Google Cloud Function em um cron job normal em um servidor local. Eu adicionei duas impressões de depuração ao redor da linha que lança o erro, o print("Right after opening the file ...")que não aparece mais. A subfunção query_execute_batch()que write_to_csv_file()está chamando para cada lote também é mostrada, mas provavelmente não é o problema aqui, pois o erro já ocorre no início ao abrir o arquivo csv.

requirements.txt(que são então importados como módulos):

SQLAlchemy>=1.4.2
google-cloud-storage>=1.16.1
mysqlclient==2.1.0
pandas==1.2.3
fsspec==2021.11.1
gcsfs==2021.11.1
unicodecsv==0.14.1

E a partir de main.py:

def query_execute_batch(connection):
    """Function for reading data from the query result into batches
    :yield: each result in a loop is a batch of the query result
    """
    results = execute_select_batch(connection, SQL_QUERY)
    print(f"len(results): {len(results)}")
    for result in results:
        yield result

def write_to_csv_file(connection, filepath):
    """Write the data in a loop over batches into a csv.
    This is done in batches since the query from the database is huge.
    :param connection: mysqldb connection to DB
    :param filepath: path to csv file to write data
    returns: metadata on rows and time
    """
    countrows = 0
    print("Right before opening the file ...")    
    with open(filepath, "w") as outcsv:
        print("Right after opening the file ...")        
        writer = csv.DictWriter(
            outcsv,
            fieldnames=FIELDNAMES,
            extrasaction="ignore",
            delimiter="|",
            lineterminator="\n",
        )
        # write header according to fieldnames
        writer.writeheader()

        for batch in query_execute_batch(connection):
            writer.writerows(batch)
            countrows += len(batch)
        datetime_now_save = datetime.now()
    return countrows, datetime_now_save

Lembre-se de que, para que o script acima funcione, eu importo, gcsfso que torna o bucket disponível para leitura e gravação. Caso contrário, eu provavelmente precisaria de um objeto de armazenamento em nuvem do Google, como por exemplo:

storage_client = storage.Client()
bucket = storage_client.bucket(BUCKET_NAME)

e, em seguida, faça o arquivo nesse bucket com outras funções, mas esse não é o objetivo aqui.

A seguir, o pd.to_csvcódigo que funciona, ele usa a saída de uma consulta SQL fictícia SELECT 1como entrada de um dataframe. Isso pode ser salvo no mesmo bucket_filepath, é claro que o motivo pode não ser apenas pd.to_csv()como tal, mas também que o conjunto de dados é um manequim em vez de strings unicode complexas de um enorme arquivo SELECT query. Ou há outra razão, estou apenas supondo.

if records is not None:
    df = pd.DataFrame(records.fetchall())
    df.columns = records.keys()
    df.to_csv(filepath,
        index=False,
    )
    datetime_now_save = datetime.now()
    countrows = df.shape[0]

Eu gostaria de usar o gravador csv para ter a chance de escrever em unicode com o módulo unicodecsv e a chance de usar os lotes.

Eu posso estar disposto a mudar para lotes ( loop + appendmode ou chunksize) em pandas como em Escrevendo dataframes grandes de Pandas para arquivo CSV em pedaços para se livrar desse problema de caminho de arquivo do bucket, mas eu gostaria de usar o código pronto (nunca toque em um sistema em execução ).

Como posso salvar esse csv com o gravador csv para que ele possa abrir um novo arquivo no bucket em writemode = with open(filepath, "w") as outcsv:?

A função fornecida write_to_csv_file()é apenas uma pequena parte da Cloud Function que usa uma ampla variedade de funções e funções em cascata. Não posso mostrar todo o caso reproduzível aqui e espero que possa ser respondido pela experiência ou por exemplos mais fáceis.