Início / user-304576

paropunam's questions

Martin Hope
paropunam
Asked: 2023-01-17 09:29:45 +0800 CST
  • 5

Tenho cerca de 500 GB de espaço livre em disco no meu SSD. Estou tentando executar uma operação em 10 arquivos gzipados (cada um com cerca de 25 GB de tamanho). Mas continuo ficando sem armazenamento quando faço isso em um parallelloop for, pois sortgrava muito temporary filesno mesmo diretório e aparentemente não limpa depois de si mesmo.

Estou tentando pegar aleatoriamente um certo número de linhas desses arquivos.

bcftools view "${FILES[i]}".vcf.gz | awk '{printf("%f\t%s\n",rand(),$0);}' | sort -t $'\t' -T . -k1,1g | head -n "${SUBSET_COUNT[i]}" | cut -f 2- >> "${FILES[i]}"_"${SUBSET_COUNT[i]}"_subset.vcf &

Essa operação leva em torno de 1 hora em cada arquivo (quando faço um a um), mas quero fazer em paralelo, pois preciso repetir isso em mais lotes desses arquivos.

awk
Martin Hope
paropunam
Asked: 2022-05-31 01:37:20 +0800 CST
  • 3

Eu tenho dois arquivos grandes delimitados por tabulação (> 10 GB) e sei que quando eles são classificados, eles são idênticos em conteúdo.

No entanto, estou interessado na ordem das linhas e no índice das trocadas quando elas compartilham a mesma "chave" (chave aqui sendo definida como linhas agrupadas com base em Sourcecolunas Location).

Em outras palavras, as linhas entre esses dois arquivos só devem ser comparadas entre si quando vierem do mesmo grupo (ou seja, quando compartilharem a mesma Origem e Local).

Por exemplo, no exemplo abaixo, as linhas 4, 5, 6 de file1.tsvdevem ser comparadas com 4, 5, 6 defile2.tsv

Nota: os arquivos são TSV normais. Espaços adicionais só são adicionados aqui para tornar as colunas alinhadas ao centro e à direita para melhor visibilidade. Esses espaços não fazem parte dos arquivos originais

arquivo1.tsv

     Identifier  Position Source  Location
     AY1:2301        87    ch1        14
    BC1U:4010       105    ch1        14
    AC44:1230        90    ch1        15
    AJC:93410        83    ch1        16
    ABYY:0001       101    ch1        16
       ABC:01        42    ch1        16
      HH:A9CX       413    ch1        17
      LK:9310         2    ch1        17
    JFNE:3410       132    ch1        18
    MKASDL:11        14    ch1        18
   MKDFA:9401        18    ch1        18
  MKASDL1:011       184    ch2        50
   LKOC:AMC02        18    ch2        50
     POI:1100       900    ch2        53
    MCJE:09HA        11    ch2        53
   ABYCI:1123        15    ch2        53
     MNKA:410         1    ch2        53

arquivo2.tsv

     Identifier  Position Source  Location
     AY1:2301        87    ch1        14
    BC1U:4010       105    ch1        14
    AC44:1230        90    ch1        15
       ABC:01        42    ch1        16
    ABYY:0001       101    ch1        16
    AJC:93410        83    ch1        16
      HH:A9CX       413    ch1        17
      LK:9310         2    ch1        17
    MKASDL:11        14    ch1        18
    JFNE:3410       132    ch1        18
   MKDFA:9401        18    ch1        18
  MKASDL1:011       184    ch2        50
   LKOC:AMC02        18    ch2        50
     MNKA:410         1    ch2        53
     POI:1100       900    ch2        53
   ABYCI:1123        15    ch2        53
    MCJE:09HA        11    ch2        53

Eu quero fazer algo semelhante a um "diff", mas no nível de 'grupo' (onde as linhas são comparadas apenas quando compartilham o mesmo Sourcee Location)

Eu quero extrair os "números de linha" originais quando a ordem das linhas é 'trocada' dentro do mesmo grupo "Fonte/Local" " " (ou chave).

A linha inteira deve corresponder em termos de conteúdo.

Mas não tenho ideia de como fazer isso. Só consigo pensar em escrever um loop for que seria extremamente ineficiente quando meu conjunto de dados original tem milhões de linhas.

Resultado esperado:

Group_Source:Location  df1.index  df2.index

ch1:16                         4          6
ch1:16                         6          4
ch1:18                         9         10
ch1:18                        10          9
ch2:53                        14         15
ch2:53                        15         17
ch2:53                        17         14

Suposições:

  • Ambos os dataframes têm o mesmo número de linhas
  • Ambos os dataframes são idênticos (apenas a ordem das linhas é trocada, portanto, se ambos forem classificados por Origem, Local, Posição e Identificador, eles serão exatamente idênticos)
  • As linhas 'trocadas' sempre correspondem exatamente em termos de conteúdo em todas as colunas
bash awk
Martin Hope
paropunam
Asked: 2020-01-31 02:17:11 +0800 CST
  • 2

Este é o comando que tenho e gostaria de modificar com uma condição adicional:

find /home/user/backups/ -mindepth 2 -maxdepth 3 -name "*~EEEE000.tif" -print

Esta é a saída de ls /home/user/backups/:

backup20170101_somerandomstring
backup20170115_somerandomstring
backup20170230_somerandomstring
backup20170305_somerandomstring
backup20170408_somerandomstring
backup20170521_somerandomstring
.
.
.
backup20190111_somerandomstring
backup20190130_somerandomstring
backup20190209_somerandomstring
backup20190301_somerandomstring
backup20190303_somerandomstring
backup20190311_somerandomstring
backup20190313_somerandomstring
backup20190412_somerandomstring
.
.
.
backup20200102_somerandomstring
backup20200103_somerandomstring
backup20200105_somerandomstring
backup20200110_somerandomstring
.
.
.

Eu só quero pesquisar diretórios que foram gerados após 2019-03-10. Portanto, isso pode ser facilmente pensado como diretórios que em seu nome têm números maiores do que 20190310logo após a palavrabackup .

Eu posso diluir seq, mas não sei como usá-lo ao lado de encontrar. E tenho certeza que existem opções melhores por aí.

seq -f "backup%1.0f" 20190310 20200131
find ls
Martin Hope
paropunam
Asked: 2019-04-10 04:48:59 +0800 CST
  • 0

Tenho vários diretórios:

├── folder1.x
│   ├── dsferwe
│   ├── ewrwr342
│   ├── analysis
│   ├── fdsds
│   ├── vcxvcxz
│   ├── 324322
│   ├── export.asc
│   ├── f_random_subfolder.xf
│   │   ├── -.method
│   │   ├── desktop.ini
│   │   ├── lock.file
│   │   └── submethods.xml
│   └── Sync
├── random_folder4.x
│   ├── dsferwe
│   ├── ewrwr342
│   ├── analysis
│   ├── fdsds
│   ├── vcxvcxz
│   ├── 324322
│   ├── export.asc
│   ├── 22random_subfolder.xf
│   │   ├── -.method
│   │   ├── desktop.ini
│   │   ├── lock.file
│   │   └── submethods.xml
│   └── Sync
├── X93430.x
│   ├── dsferwe
│   ├── ewrwr342
│   ├── analysis
│   ├── fdsds
│   ├── vcxvcxz
│   ├── 324322
│   ├── export.asc
│   ├── random_subfolder222.xf
│   │   ├── -.method
│   │   ├── desktop.ini
│   │   ├── lock.file
│   │   └── submethods.xml
│   └── Sync

Cada diretório contém um export.ascarquivo.

Eu quero copytodos os export.ascarquivos para um novo diretório ao renomear para ter o mesmo nome do diretório pai. Portanto, no final, conforme o exemplo acima, terei esses arquivos em uma nova pasta:

folder1.x.asc
random_folder4.x.asc
X93430.x.asc

Como posso conseguir isso?

Tópicos RELACIONADOS que já acompanhei mas não obtive sucesso

linux rename