Início / unix / Perguntas / 782732
Accepted
user256787
Asked: 2024-08-30 03:21:24 +0800 CST

Manipulação de arquivos grandes

  • 772

Tenho um Garmin Nuvi que usa mapas OpenStreet. O Garmin faz códigos postais, mas geralmente está desatualizado de 2 a 3 anos para a Escócia. O OSM não faz códigos postais britânicos, mas o Post Office faz, e pode ser baixado gratuitamente. Este arquivo tem pouco menos de 1 GB. Ele tem 16 colunas, das quais eu quero apenas as 3 primeiras.

Usei cut para remover as colunas estranhas, então agora tenho CEP, Latitude e Longitude. Infelizmente, o arquivo POI deve ser Latitude, Longitude e CEP, ou seja, a coluna 1 deve ser a coluna 3. Para aumentar o problema, o CEP deve estar entre aspas, por exemplo, EH9 1QG e SW12 1AB devem ser "EH9 1QG" e "SW12 1AB".

Usei o awk de forma um tanto estranha (viu o que eu fiz aí?) com:

awk 'BEGIN {FS="\t"; OFS=","} {print $2, $3, $1}' pc0.csv > pc.csv

e tudo o que ele fez foi adicionar 2 colunas vazias na frente.
Seria legal poder usar uma planilha nele, mas há mais de 3 milhões de linhas.

Alguma ideia?

Isto é o que eu obtenho da saída de cut - pc0.csv.
O comando awk dá o mesmo, mas com duas vírgulas na frente de cada linha para dar 2 colunas vazias.

Postcode Latitude Longitude
AB1 0AA,57.101474,-2.242851  
AB1 0AB,57.102554,-2.246308  
AB1 0AD,57.100556,-2.248342  
AB1 0AE,57.084444,-2.255708  
AB1 0AF,57.096656,-2.258102  
AB1 0AG,57.097085,-2.267513  
AB1 0AJ,57.099011,-2.252854  
AB1 0AL,57.101765,-2.254688

Então, usando o arquivo "cut" acima, que agora tem apenas 73 MB, preciso convertê-lo para:

Latitude,Longitude,Postcode
57.101474,-2.242851,"AB1 0AA"  
57.102554,-2.246308,"AB1 0AB"  
57.100556,-2.248342,"AB1 0AD"  
57.084444,-2.255708,"AB1 0AE"  
57.096656,-2.258102,"AB1 0AF"  
57.097085,-2.267513,"AB1 0AG"  
57.099011,-2.252854,"AB1 0AJ"  
57.101765,-2.254688,"AB1 0AL"

Agora eu tive que remover as tabulações para exibir essas linhas, então esse é outro problema, pois só pode haver vírgulas e nada mais - nem mesmo espaços, a menos que entre aspas.

PS Linux (Ubuntu Mate) 22.04 LTS

text-processing

3 respostas

  1. Best Answer

    Isso, usando qualquer awk, converterá o primeiro arquivo de exemplo que você mostrar no segundo arquivo de exemplo que você mostrar:

    $ awk '
    BEGIN { FS=OFS="," }
    { sub(/ +$/, "") }
    NR == 1 { gsub(/ /, FS) }
    NR > 1  { $1 = "\"" $1 "\"" }
    { print $2, $3, $1 }
' file

    por exemplo, dada esta entrada:

    $ cat file
Postcode Latitude Longitude
AB1 0AA,57.101474,-2.242851
AB1 0AB,57.102554,-2.246308
AB1 0AD,57.100556,-2.248342
AB1 0AE,57.084444,-2.255708
AB1 0AF,57.096656,-2.258102
AB1 0AG,57.097085,-2.267513
AB1 0AJ,57.099011,-2.252854
AB1 0AL,57.101765,-2.254688

    ele produz esta saída:

    $ awk 'BEGIN{FS=OFS=","} {sub(/ +$/,"")} NR==1{gsub(/ /,FS)} NR>1{$1="\""$1"\""} {print $2, $3, $1}' file
Latitude,Longitude,Postcode
57.101474,-2.242851,"AB1 0AA"
57.102554,-2.246308,"AB1 0AB"
57.100556,-2.248342,"AB1 0AD"
57.084444,-2.255708,"AB1 0AE"
57.096656,-2.258102,"AB1 0AF"
57.097085,-2.267513,"AB1 0AG"
57.099011,-2.252854,"AB1 0AJ"
57.101765,-2.254688,"AB1 0AL"

    Se não é isso que você precisa, esclareça sua dúvida.

    • 4

  2. Isso pode funcionar para sua caixa Ubuntu:

    gawk -v OFS=, '{print $2,$3,q $1 q}NR==1{FS=","; q="\""}' pc0.csv

    A ideia é redefinir FS=","e especificar as aspas depois que a primeira linha for processada.

    • 1

  3. O duckdb cli é uma ótima ferramenta para executar esse tipo de tarefa para arquivos grandes.

    Se o arquivo de entrada estiver no exemplo deste TSV

    Postcode    Latitude    Longitude   Lorem   Ipsum
AB1 0AA 57.101474   -2.242851   e   2
AB1 0AB 57.102554   -2.246308   r   4
AB1 0AD 57.100556   -2.248342   g   5
AB1 0AE 57.084444   -2.255708   r   7
AB1 0AF 57.096656   -2.258102   x   4
AB1 0AG 57.097085   -2.267513   c   3
AB1 0AJ 57.099011   -2.252854   g   2
AB1 0AL 57.101765   -2.254688   g   5

    você pode correr

    duckdb --csv -c "select #2,#3,#1 from read_csv('input.tsv',delim='\t', header=True)"

    para obter esta saída CSV

    Latitude,Longitude,Postcode
57.101474,-2.242851,"AB1 0AA"
57.102554,-2.246308,"AB1 0AB"
57.100556,-2.248342,"AB1 0AD"
57.084444,-2.255708,"AB1 0AE"
57.096656,-2.258102,"AB1 0AF"
57.097085,-2.267513,"AB1 0AG"
57.099011,-2.252854,"AB1 0AJ"
57.101765,-2.254688,"AB1 0AL"
    • 1

relate perguntas