Otimização de script para encontrar nomes de arquivo duplicados em CSV enorme

O seguinte script AWK deve fazer o truque, sem usar muita memória:

#!/usr/bin/awk -f

BEGIN {
    FS = ";"
}

{
    idx = match($2, "/[^/]+$")
    if (idx > 0) {
        path = substr($2, 1, idx)
        name = substr($2, idx + 1)
        if (paths[name] && paths[name] != path && !output[name]) {
            print name
            output[name] = 1
        }
        paths[name] = path
    }
}

Ele extrai o caminho e o nome de cada arquivo e armazena o último caminho visto para cada nome. Se já havia visto outro caminho, ele gera o nome, a menos que já o tenha exibido.

O principal problema com seu código é que você está coletando todos os nomes de caminho em uma variável e, em seguida, fazendo um loop para chamar basename. Isso torna lento.

O loop também é executado sobre a variável expansion sem aspas ${PATHLIST}, o que seria imprudente se os nomes de caminho contivessem espaços ou caracteres de globbing de shell. Em bash(ou em outros shells que o suportam), seria usado um array.

Sugestão:

$ sed -e '1d' -e 's/^[^;]*;//' -e 's/;.*//' file.csv | sort -u | sed 's#.*/##' | sort | uniq -d
quad_list_14.json

O primeiro sedescolhe os nomes dos caminhos (e descarta a linha do cabeçalho). Isso também pode ser escrito como awk -F';' 'NR > 1 { print $2 }' file.csv, ou como tail -n +2 file.csv | cut -d ';' -f 2.

O sort -unos fornece nomes de caminho exclusivos e o seguinte sednos fornece os nomes de base. O final sortcom uniq -dno final nos diz quais nomes de base são duplicados.

O último sed 's#.*/##'que fornece os nomes de base é uma reminiscência da expansão do parâmetro ${pathname##*/}que é equivalente a $( basename "$pathname" ). Ele apenas exclui tudo até e incluindo o último /na string.

A principal diferença do seu código é que, em vez do loop que chama basenamevárias vezes, um único sedé usado para produzir os nomes de base de uma lista de nomes de caminho.

Alternativa para olhar apenas as IN_OPENentradas:

sed -e '/;IN_OPEN;/!d' -e 's/^[^;]*;//' -e 's/;.*//' file.csv | sort -u | sed 's#.*/##' | sort | uniq -d

Obrigado a vocês dois por suas respostas e obrigado Isaac pelos comentários.
Peguei todo o seu código e coloquei em um script stephen.awk kusa.she isaac.shdepois executei um pequeno benchmark como este:

for i in $(ls *.csv)
do
    script.sh $1
done

Com o comando timeeu os comparo e aqui estão os resultados:

stephen.awk

real    2m35,049s
user    2m26,278s
sys     0m8,495s

stephen.awk : atualizado com /IN_OPEN/ antes do segundo bloco

real    0m35,749s
user    0m15,711s
sys     0m4,915s

kusa.sh

real    8m55,754s
user    8m48,924s
sys     0m21,307s

Atualizar com filtro em IN_OPEN:

real    0m37,463s
user    0m9,340s
sys     0m4,778s

Nota lateral:
embora correto, eu tinha muitas linhas em branco geradas com sed, seu script era o único assim.

isaac.sh

grep -oP '^[^;]*;\K[^;]*' file.csv | sort -u | grep -oP '.*/\K.*' | sort | uniq -d
real    7m2,715s
user    6m56,009s
sys     0m18,385s

Com filtro ativado IN_OPEN:

real    0m32,785s
user    0m8,775s
sys     0m4,202s

meu roteiro

real    6m27,645s
user    6m13,742s
sys     0m20,570s

@Stephen você claramente venceu esta, com uma redução de tempo impressionante em um fator de 2,5.

Embora depois de pensar um pouco mais, tive outra ideia, e se eu apenas olhar para o evento OPEN file, isso reduziria a complexidade e você não deveria acessar um arquivo ou escrevê-lo sem abri-lo primeiro, então fiz isso:

#see I add grep "IN_OPEN" to reduce complexity
PATHLIST=$(grep "IN_OPEN" "${1}" | cut -d';' -f 2 | sort -u)
FILENAMELIST=""
for path in ${PATHLIST}
do
    FILENAMELIST="$(basename "${path}")
${FILENAMELIST}"
done
echo "${FILENAMELIST}" | sort | uniq -d

Com esta única modificação que me deu o mesmo resultado, acabo com este timevalor:

real    0m56,412s
user    0m27,439s
sys     0m9,928s

E tenho certeza de que há muitas outras coisas que eu poderia fazer