Como contar campos em branco de um arquivo delimitado no Unix

Supondo que você queira contar o número de campos vazios no seu arquivo CSV delimitado por dois pontos, podemos fazer isso com Miller ( mlr) assim:

$ mlr --csv --ifs colon put -q 'for (k,v in $*) { is_empty(v) { @count=@count+1 } } end { print @count }' file
6

Como Miller é ciente de CSV, isso também lida corretamente com campos que contêm dois pontos incorporados. Por exemplo, o seguinte CSV tem dois campos vazios ( Designatione Salary):

EmpID:Name:Designation:UnitName:Location:DateofJoining:Salary
1008:"Text::CSV"::"Team::Overseas":Stockholm:2025-03-03:

Você pode encadear alguns utilitários padrão:

_{edição: Obrigado @Kusalananda pelo lembrete de usar grep -cem vez degrep | wc -l}

<file.txt tr ':' '\n' | grep -c '^$'

ou use awk:

<file.txt awk -F: '{for (i=1; i<=NF; i++) n+=($i=="")} END {print n}'

Isto é, desde que os campos de entrada não contenham nenhum caractere LFnor .:

Você quer uma solução bash pura?

Exemplo de awk, que é POSIX!

awk 'BEGIN { counter=0; } { text=$0; while (spaceI=index(text,"::")) { text=substr(text,spaceI+2); counter++; }} END { print counter; }' < your_file

ou

echo - n 'EmpID:Name:Designation:UnitName:Location:DateofJoining:Salary
1001:Thomson:SE:IVS:Mumbai:10-Feb-1999:60000
1002:Johnson:TE::Bangalore:18-Jun-2000:50000
1003:Jackson:DM:IMS:Hyderabad:23-Apr-1985:90000
1004:BobGL::ETA:Mumbai:05-Jan-2004:55000
1005:Alice:PA:::26-Aug-2014:25000
1006:LilySE::IVS:Bangalore:17-Dec-2015:40000
1007:Kirsten:PM:IMS:Mumbai:26-Aug-2014:45000
1004:BobGL::ETA:Mumbai:05-Jan-2021:55000' | awk 'BEGIN { counter=0; } { text=$0; while (spaceI=index(text,"::")) { text=substr(text,spaceI+2); counter++; }} END { print counter; }'

Festança:

{ counter=0; while IFS= read -r line; do doIT=1; while ((doIT > 0)); do line_L=${#line}; line=${line#*::}; if ((line_L > ${#line})); then ((counter++)); else doIT=0; fi; done; done; echo -n "$counter" ; } < your_file

Aqui estão uma sedimplementação wce uma bashimplementação pura, junto com código de exemplo para invocar ambas. Eu recomendaria a primeira.

#!/bin/bash

sedwc() {
    local v=( $( sed <$1 -e 's/^/:/;s/$/:/;s/[^:][^:]*/x/g;s/::/:y:/g;s/::/:y:/g;s/[x:]//g' | wc ) )
    echo $(( ${v[2]} - ${v[0]} ))
}

purebash() {
    local line count=0 mod
    while read line
    do
        while true
        do
            mod="${line/::/:}"
            [[ "$line" = "$mod" ]] && break
            : $(( count++ ))
            line="$mod"
        done
    done <"$1"
    echo $count
}

a=$( sedwc sample )
b=$( purebash sample )

echo sedwc = "$a" purebash = "$b"

Uma coisa que seu formato de entrada implica, mas você não especifica, é que pode haver entradas em branco no início e no fim da linha. A implementação do sedwc considera isso adicionando dois pontos extras no início e no fim de cada linha. Se esses espaços em branco não devem ser contados, você pode remover o texto s/^/:/;s/$/:/;.

Acho que vale a pena explicar a sed wcimplementação:

wc's então gera o total de linhas, o total de palavras e o total de caracteres. Isso se traduz como: total de registros, registros com quaisquer espaços em branco e total de registros mais o total de espaços em branco. Um pouco de matemática simples então gera o total de espaços em branco.

Usando Raku (anteriormente conhecido como Perl_6)

~$ BEGIN my $i; m:overlap/ [ ^ ":" || "::" || ":" $ ] { ++$i } /; END say $i;'    file

Raku é uma linguagem de programação da família Perl que é uma boa escolha se você estiver lidando com arquivos Unicode/UTF-8.

Acima, chamamos o Raku na linha de comando com os -nesinalizadores linewise não autoprinting do tipo awk. Nós BEGINdeclaramos uma variável de contador $i. Para garantir a contagem correta de dois pontos adjacentes, usamos o :overlapmodificador (argumento nomeado).

Exemplo de entrada:

EmpID:Name:Designation:UnitName:Location:DateofJoining:Salary
1001:Thomson:SE:IVS:Mumbai:10-Feb-1999:60000
1002:Johnson:TE::Bangalore:18-Jun-2000:50000
1003:Jackson:DM:IMS:Hyderabad:23-Apr-1985:90000
1004:BobGL::ETA:Mumbai:05-Jan-2004:55000
1005:Alice:PA:::26-Aug-2014:25000
1006:LilySE::IVS:Bangalore:17-Dec-2015:40000
1007:Kirsten:PM:IMS:Mumbai:26-Aug-2014:45000
1004:BobGL::ETA:Mumbai:05-Jan-2021:55000

Exemplo de saída:6

Se você quiser ver as correspondências, basta adicionar uma saychamada, com ++$e =>para fornecer os números das linhas:

~$ raku -ne 'BEGIN my $i; say ++$, " => ",  m:overlap/ [ ^ ":" || "::" || ":" $ ] { ++$i } /; END say "total blank fields: $i";'  file
1 => ()
2 => ()
3 => (｢::｣)
4 => ()
5 => (｢::｣)
6 => (｢::｣ ｢::｣)
7 => (｢::｣)
8 => ()
9 => (｢::｣)
total blank fields: 6

https://raku.org