Início / unix / Perguntas / 520873
Accepted
Swarna Gowri
Asked: 2019-05-25 05:50:07 +0800 CST

Como não exibir uma coluna que tenha todos os valores NULL em um arquivo

  • 772

Eu tenho um arquivo que tem, digamos, 5 colunas (obtidas redirecionando os resultados de uma consulta de seleção do Sybase). Cada coluna é separada por uma tabulação. Eu preciso filtrar as colunas que têm todos os NULLs. Qualquer coluna entre as cinco pode ser nula.

Por exemplo, se as colunas no arquivo forem parecidas com as abaixo:

1000    NULL    NULL    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL

A saída deve estar (após a remoção das colunas 2 e 5), preferencialmente no mesmo arquivo:

1000    NULL    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2

Eu alcancei:

for i in {1..5}  
do
echo $i
dlr="$"$i
str="{print $dlr}"
echo $str
awk '$str' <input_file> | while read value
    do
        echo $value

        if [ "$value" == "NULL" ]
        then
                echo "inside"
                cut $i 
        fi
    done
done

valor agora, mostra todas as linhas!!! Além disso, não tenho certeza de como cortar a coluna. Eu sou um iniciante em script de shell e incapaz de prosseguir.

Você pode por favor aconselhar como fazer isso?

shell-script text-processing

4 respostas

  1. Por meio do utilitário GNUdatamash , você primeiro inverte as linhas, depois exclui todas as linhas nulas e inverte as linhas novamente:

    $ datamash transpose | sed -Ee '/^(NULL\t)*NULL$/d' | datamash transpose
    • 3

  2. Você não pode fazer isso sem processar o arquivo duas vezes. O seguinte é usado primeiro para construir o comando awkfinal :cut

    killnulls(){
    cut -f "$(awk -F'\t' '
        { for(i=1;i<=NF;i++) a[i] += $i!="NULL" }
        END { for(i=1;i in a;i++) if(a[i]) printf j++?","i:i }
    ' "$@")" "$@"
}

$ killnulls file
1000    NULL    2
7       1000    2
7       1000    2
...
    • 1
  3. Best Answer

    Eu realmente não gosto desta solução, mas parece funcionar:

    #!/bin/bash

input=~/tmp/input
skip=()

c=$(awk '{print NF;exit}' "$input")

for ((i=1;i<=c;i++)); do
    col=$(awk -v c="$i" '{print $c}' "$input" | sort -u)
    if [[ $col == NULL ]]; then
        skip+=( "$i" )
    fi
done
( IFS=,; awk -v S="${skip[*]}" '{ split(S,s,","); for (i=1;i<=length(s);i++) { $s[i]="" } print}' "$input" )
    1. input(seu arquivo de entrada)
    2. skip(array que será preenchido posteriormente)
    3. c(será definido para o número de colunas em seu arquivo. Isso pressupõe que todo o arquivo tenha um número uniforme de colunas)
    4. Agora vamos percorrer cada coluna no arquivo, classificá-lo e excluí-lo e verificar se a coluna contém apenas NULL. Nesse caso, adicionaremos esse número de coluna à skipmatriz
    5. Agora definimos o IFScomo uma vírgula (o motivo pelo qual estou usando um subshell) e passamos o skiparray como um valor separado por vírgula para uma awkvariável. Isso é para que possamos usar splitpara converter essa variável de volta em uma awkmatriz.
    6. awkirá então percorrer cada número na smatriz e definir essa coluna como vazia e imprimir o que resta.
    • 0

  4. Comando:

    awk '/NULL/{gsub(/NULL/,"",$0);print $0}' filename| sed -r "s/\s+/ /g"| awk 'NR==1{$3=$2;$2="NULL";}1'

    resultado

    awk '/NULL/{gsub(/NULL/,"",$0);print $0}' i.txt| sed -r "s/\s+/ /g"| awk 'NR==1{$3=$2;$2="NULL";}1'
1000 NULL 2
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2
    • -1

relate perguntas