AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / unix / Perguntas / 499306
Accepted
katosh
katosh
Asked: 2019-02-08 08:24:03 +0800 CST2019-02-08 08:24:03 +0800 CST 2019-02-08 08:24:03 +0800 CST

grep eficientemente um intervalo de um arquivo classificado

  • 772

Meu arquivo tem milhões de linhas, reside na memória /dev/shm/tmp.file, é acessado por vários threads, fica assim

831092,25a1bd66f2eec71aa2f0a8bb3d,/path/to/a/file
4324,8d83c29e4d8c71bd66f1bd66fs,/path/to/another/file
...

e é classificado pela parte após a segunda ,com sort -t , -k3. Em geral, cada linha tem a forma [0-9]*,[0-9a-z]*,.*e os caminhos de arquivo podem conter quaisquer caracteres, exceto \0ou \n.

Preciso extrair as linhas de todos os arquivos que residem em um determinado diretório o mais rápido possível e sem fazer uma cópia adicional. Como o arquivo é classificado dessa maneira, as linhas que estou procurando são uma parte ininterrupta do arquivo.

Atualmente eu uso, grep -F ',<directory>' /dev/shm/tmp.filemas sei que seria muito mais rápido fazer uma busca binária para o primeiro hit e depois expandir o pedaço linha por linha ou com outra busca binária sem ler o arquivo inteiro para cada nova linha. No entanto, isso precisa ser integrado a um script bash e não encontrei como fazer algo como lseek no bash.

Existe sgrep , mas requer que as linhas completas sejam classificadas.

Como posso extrair todas as correspondências com ',<directory>'mais rápido que grep -F?

Edit: A entrada /dev/shm/tmp.fileexiste apenas para fazer esse tipo de extração. Portanto, pré-processá-lo de alguma forma para facilitar o trabalho é uma opção.

Edit: a.b classificar entre ae a/bnão é um problema, pois todos os subdiretórios devem ser incluídos no bloco.

shell-script text-processing
  • 1 1 respostas
  • 1383 Views

1 respostas

  • Voted
  1. Best Answer
    Stéphane Chazelas
    2019-02-08T09:09:00+08:002019-02-08T09:09:00+08:00

    Se você mudou 831092,25a1bd66f2eec71aa2f0a8bb3d,/path/to/a/filepara /path/to/a/file,831092,25a1bd66f2eec71aa2f0a8bb3d

    Você poderia fazer com:

    look /path/to/ /dev/shm/tmp.file
    

    looké um utilitário tradicional do Unix dos anos 70, não especificado pelo POSIX, mas bastante comum. No Debian e derivados, você encontrará um no bsdmainutilspacote, também há um no util-linux (também copiado do BSD, não no pacote Debian com o mesmo nome).

    look mmap()s o arquivo e faz uma pesquisa binária.

    No entanto, observe que a implementação do Debian reverte para uma pesquisa linear básica a la , a grepmenos que você passe a -bopção (suspiro). Então, no Debian ou derivado, você vai querer:

    look -b /path/to/ /dev/shm/tmp.file
    

    Observe também que algumas implementações têm um limite no tamanho do arquivo que podem manipular ( veja o bug correspondente com o patch para o Debian )

    • 11

relate perguntas

  • exportar variáveis ​​​​env programaticamente, via stdout do comando [duplicado]

  • Dividir por delimitador e concatenar problema de string

  • Embaralhamento de arquivo de várias linhas

  • MySQL Select com função IN () com array bash

  • como posso alterar o caso do caractere (de baixo para cima e vice-versa)? ao mesmo tempo [duplicado]

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Possível firmware ausente /lib/firmware/i915/* para o módulo i915

    • 3 respostas
  • Marko Smith

    Falha ao buscar o repositório de backports jessie

    • 4 respostas
  • Marko Smith

    Como exportar uma chave privada GPG e uma chave pública para um arquivo

    • 4 respostas
  • Marko Smith

    Como podemos executar um comando armazenado em uma variável?

    • 5 respostas
  • Marko Smith

    Como configurar o systemd-resolved e o systemd-networkd para usar o servidor DNS local para resolver domínios locais e o servidor DNS remoto para domínios remotos?

    • 3 respostas
  • Marko Smith

    apt-get update error no Kali Linux após a atualização do dist [duplicado]

    • 2 respostas
  • Marko Smith

    Como ver as últimas linhas x do log de serviço systemctl

    • 5 respostas
  • Marko Smith

    Nano - pule para o final do arquivo

    • 8 respostas
  • Marko Smith

    erro grub: você precisa carregar o kernel primeiro

    • 4 respostas
  • Marko Smith

    Como baixar o pacote não instalá-lo com o comando apt-get?

    • 7 respostas
  • Martin Hope
    user12345 Falha ao buscar o repositório de backports jessie 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl Por que a maioria dos exemplos do systemd contém WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky Como exportar uma chave privada GPG e uma chave pública para um arquivo 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll status systemctl mostra: "Estado: degradado" 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim Como podemos executar um comando armazenado em uma variável? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S Por que /dev/null é um arquivo? Por que sua função não é implementada como um programa simples? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 Como ver as últimas linhas x do log de serviço systemctl 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - pule para o final do arquivo 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla Por que verdadeiro e falso são tão grandes? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis Substitua a string em um arquivo de texto enorme (70 GB), uma linha 2017-12-30 06:58:33 +0800 CST

Hot tag

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve