AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / unix / Perguntas / 562712
Accepted
WGroleau
WGroleau
Asked: 2020-01-18 17:09:20 +0800 CST2020-01-18 17:09:20 +0800 CST 2020-01-18 17:09:20 +0800 CST

Obtendo linhas selecionadas de um arquivo maior que RAM+VM disponível

  • 772

Qual é a melhor maneira de tirar um segmento de um arquivo de texto? e os muitos outros na barra lateral direita são quase duplicados.

A única diferença é que meu arquivo era muito grande para caber na RAM + VM disponível e, portanto, qualquer coisa que eu tentasse não apenas não faria nada por minutos até ser morto, mas atolaria o sistema. Um deles me fez incapaz de fazer qualquer coisa até que o sistema travasse.

Eu posso escrever um loop no shell ou qualquer outro para ler, contar e descartar linhas até que a contagem (número de linha desejado) seja alcançada, mas talvez já exista um único comando que faça isso?

Depois de tentar algumas coisas (vim, head -X | tail -1, editor de GUI), desisti, apaguei o arquivo e mudei o programa que o criou para me fornecer apenas as linhas necessárias.

Olhando mais longe, Abrindo arquivos de tamanho maior que a RAM, sem troca usada. sugere que vi deveria fazer isso, mas se vi é o mesmo, definitivamente estava fazendo algo que leva minutos, não segundos.

text-processing command-line
  • 1 1 respostas
  • 56 Views

1 respostas

  • Voted
  1. Best Answer
    Antonio Zhu
    2020-01-18T21:27:46+08:002020-01-18T21:27:46+08:00

    Você deveria tentar less.

    Das páginas de manual:

    Also, less does not have to read the entire input file before starting, so with large input files it starts up faster than text editors like vi (1).
    

    Eu abro arquivos grandes regularmente com menos e não tenho problemas com o tempo de inicialização. Se você combiná-lo com a opção -jn, poderá acessar basicamente todas as partes do arquivo em um tempo trivial.

    Eu não testei isso porque eu precisaria de um arquivo bem grande, mas combinado com o head, você poderia criar um script também com moreo que é mais adequado para script.

    more +$START_LINE_NUMBER | head -n$AMOUNT_OF_LINES

    Se eu entendi direito, o cabeçote deve terminar o processo de tubulação depois de obter a quantidade necessária de linhas, portanto, esta solução deve ser a solução de baixo custo que você estava procurando.

    • 0

relate perguntas

  • Reorganize as letras e compare duas palavras

  • Subtraindo a mesma coluna entre duas linhas no awk

  • Embaralhamento de arquivo de várias linhas

  • Pub / sub de linha de comando sem um servidor?

  • como posso alterar o caso do caractere (de baixo para cima e vice-versa)? ao mesmo tempo [duplicado]

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Possível firmware ausente /lib/firmware/i915/* para o módulo i915

    • 3 respostas
  • Marko Smith

    Falha ao buscar o repositório de backports jessie

    • 4 respostas
  • Marko Smith

    Como exportar uma chave privada GPG e uma chave pública para um arquivo

    • 4 respostas
  • Marko Smith

    Como podemos executar um comando armazenado em uma variável?

    • 5 respostas
  • Marko Smith

    Como configurar o systemd-resolved e o systemd-networkd para usar o servidor DNS local para resolver domínios locais e o servidor DNS remoto para domínios remotos?

    • 3 respostas
  • Marko Smith

    apt-get update error no Kali Linux após a atualização do dist [duplicado]

    • 2 respostas
  • Marko Smith

    Como ver as últimas linhas x do log de serviço systemctl

    • 5 respostas
  • Marko Smith

    Nano - pule para o final do arquivo

    • 8 respostas
  • Marko Smith

    erro grub: você precisa carregar o kernel primeiro

    • 4 respostas
  • Marko Smith

    Como baixar o pacote não instalá-lo com o comando apt-get?

    • 7 respostas
  • Martin Hope
    user12345 Falha ao buscar o repositório de backports jessie 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl Por que a maioria dos exemplos do systemd contém WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky Como exportar uma chave privada GPG e uma chave pública para um arquivo 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll status systemctl mostra: "Estado: degradado" 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim Como podemos executar um comando armazenado em uma variável? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S Por que /dev/null é um arquivo? Por que sua função não é implementada como um programa simples? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 Como ver as últimas linhas x do log de serviço systemctl 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - pule para o final do arquivo 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla Por que verdadeiro e falso são tão grandes? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis Substitua a string em um arquivo de texto enorme (70 GB), uma linha 2017-12-30 06:58:33 +0800 CST

Hot tag

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve