Digitalize o arquivo de texto em busca de números de identificação duplicados e retenha as linhas com o valor de data mais alto, excluindo as outras

Supondo que você queira apenas testar duplicatas em cada arquivo, não em todos os arquivos, e que você não se importe em preservar a ordem de entrada de seus dados, ele fará o que você deseja usando qualquer versão de ferramentas POSIX obrigatórias para que funcione em qualquer caixa Unix:

$ cat tst.sh
#!/usr/bin/env bash

tmp=$(mktemp) || exit 1
sep=','
for file in "$@"; do
    {
        head -n 1 "$file" &&
        tail -n 2 "$file" |
            sort -t "$sep" -r -k 7,7 |
            awk -F "$sep" '$1 != prev { print; prev=$1 }'
    } > "$tmp" &&
    mv -- "$tmp" "$file"
done

Por exemplo:

$ cat file
foo,bar
ID12345,Here is some text,ABCDEFG,7,9,2022-08-18 20:15:00,2022-08-26 17:32:00
ID12345,Here is some text,ABCDEFG,7,9,2022-08-18 20:15:00,2022-09-11 22:15:00

$ ./tst.sh file*

$ cat file
foo,bar
ID12345,Here is some text,ABCDEFG,7,9,2022-08-18 20:15:00,2022-09-11 22:15:00

Observe que apenas sortacima tem que lidar com toda a entrada de uma só vez, as outras ferramentas lidam apenas com 1 linha de cada vez e sortsão projetadas para lidar com arquivos grandes usando paginação de demanda, etc. se seus arquivos de entrada forem enormes.

Se você deseja manter a ordem da linha de entrada, pode alterar o acima para aplicar o idioma DSU para fazer isso:

$ cat tst.sh
#!/usr/bin/env bash

tmp=$(mktemp) || exit 1
sep=','
for file in "$@"; do
    awk -v OFS="$sep" '{ print (NR>1), NR, $0 }' "$file" |
        sort -t "$sep" -k1,1 -k9,9r |
        awk -F "$sep" 'NR==1{print; next} $1 != prev{ print; prev=$1 }' |
        sort -t "$sep" -k1,1 -k2,2n |
        cut -d "$sep" -f3- \
    > "$tmp" &&
    mv -- "$tmp" "$file"
done

mas requer um segundo sortapós as linhas terem sido selecionadas para que a entrada volte à sua ordem original.

Se você realmente quisesse fazer tudo usando uma única chamada para GNU awk mantendo a ordem de entrada, seria:

$ cat tst.awk
BEGIN { FS="," }
FNR == 1 {
    delete id2maxTs
    delete id2fnr
    delete fnr2input
    print
    next
}
{ id=$1; ts=$7 }
!(id in id2maxTs) || (ts > id2maxTs[id]) {
    if ( id in id2fnr ) {
        prevFnr = id2fnr[id]
        delete fnr2input[prevFnr]
    }
    id2maxTs[id]   = ts
    id2fnr[id]     = FNR
    fnr2input[FNR] = $0
}
ENDFILE {
    for ( i=1; i<=FNR; i++ ) {
        if ( i in fnr2input ) {
            print fnr2input[i]
        }
    }
}

$ gawk -i inplace -f tst.awk file*

$ cat file
foo,bar
ID12345,Here is some text,ABCDEFG,7,9,2022-08-18 20:15:00,2022-08-26 17:32:00

Esse script gawk manteria a ordem de entrada original, mas teria que ler todos os arquivos de entrada na memória.

Com GNU awk para a função mktime() :

gawk -F, '
NR==1{ print; next }
{
    svn=dTime=$7
    gsub(/[-:]/, " ", dTime)
    dTime=mktime(dTime)
    sub(/,[^,]*$/, "")
}
dTime > gId[$0] {
    gId[$0]=dTime
    records[$0]=svn
}
END { for(rec in records) print rec, records[rec] }' infile

consulte Usando ordens de varredura de matriz predefinidas com gawk ( PROCINFO["sorted_in"]) para definir as travessias de loop for padrão de uma matriz durante a saída.

Combinando sortcomawk

#get header line
head -1 infile
#work on data
tail +2 infile | sort -t, -r -k7 | awk -F, '!seen[$1]++'

=> Inversamente ordena pelo sétimo campo (o campo de data), ou seja, as entradas mais recentes primeiro. Em seguida, imprime linhas apenas com o primeiro ID exclusivo.

Advertências: vírgulas extras nas strings; se a mesma data aparecer para o mesmo ID, a linha será tomada conforme definido pela classificação reversa; strings de data que não usam zeros à esquerda/preenchidos ou formatos mistos