Início / unix / Perguntas / 450136
Accepted
Dipankar
Asked: 2018-06-17 02:45:18 +0800 CST

Script de shell para classificar por coluna de data usando o comando Linux 'sort'

  • 772

Eu tenho um arquivo chamado session.log Ele contém alguns dados de texto. A 1ª coluna contém o número de série. A 2ª coluna contém o nome de usuário. A 3ª coluna contém a última data de login. A 4ª coluna contém o resultado.

Um usuário fez login várias vezes. Eu preciso encontrar a última data de login para cada usuário único. Então eu escrevi um script de shell. A saída exibirá as linhas com a data de login mais recente (3ª coluna) para cada usuário único (2ª coluna). A saída não deve conter o mesmo nome de usuário várias vezes.

$ cat session.log
1 u1 2018-05-19 passe
2 u2 2018-06-15 passe
3u3 2018-05-18 passe
4 u4 2018-05-17 passe
5 U2 2018-05-14 passe
6 u4 2018-07-11 passe
7 u1 2018-05-16 passe
8u3 2018-05-13 passe
9 u1 2018-08-12 passe
10u1 2018-05-10 passe

O que eu tentei:

( awk {print} session.log | cut -f2 -d' ' | sort | uniq ) > store.txt
for line in $(cat "store.txt")
do
    touch "$line.txt"
    grep "$line" session.log > "$line.txt"
    temp=$(sort -k3 "$line.txt" | awk 'END{print}')
    echo $temp > "$line.txt"
    cat "$line.txt"
done

Resultado

$ ./sort.sh
9 u1 2018-08-12 passe
2 u2 2018-06-15 passe
3u3 2018-05-18 passe
6 u4 2018-07-11 passe

O script shell funciona para o formato de data (aaaa-mm-dd) e (aaaa/mm/dd). Existe algum código melhor para fazer o mesmo trabalho? Usando awkcomo fazemos isso?

EDITAR:

$ cat sort.sh
( awk {print} session.log | cut -f2 -d' ' | sort | uniq ) > store.txt
for line in $(cat "store.txt")
do
    #touch "$line.txt"
    grep "$line" session.log > "$line.txt"
    echo $(sort -k3 "$line.txt" | awk 'END{print}')
    #temp=$(sort -k3 "$line.txt" | awk 'END{print}')
    #echo $temp > "$line.txt"
    #cat "$line.txt"
done
rm -f store.txt
shell-script awk

1 respostas

  1. Best Answer
    $ sort -k 3,3r session.log | awk '!seen[$2]++ { print }'
9 u1 2018-08-12 pass
6 u4 2018-07-11 pass
2 u2 2018-06-15 pass
3 u3 2018-05-18 pass

    (O { print }pode ser removido completamente, estou incluindo apenas para mostrar o que acontece. A ação padrão é imprimir todo o registro de entrada se a condição for verdadeira.)

    Isso classifica o arquivo que você tem, diminuindo as datas (a data mais recente primeiro). O awkprograma lê os dados classificados e imprime a primeira entrada encontrada para cada usuário. A seenvariável é um array/hash associativo que usa os nomes de usuário como chaves. Se seu valor for zero para um usuário, então esse usuário ainda não foi visto e, portanto, a linha do arquivo é impressa.

    Seu código com minhas anotações:

    # get list of unique usernames from log:
( awk {print} session.log | cut -f2 -d' ' | sort | uniq ) > store.txt

# shorter equivalent:
# cut -d ' ' -f2 <session.log | sort -u >store.txt

# loop over the usernames:
for line in $(cat "store.txt")
do
    # get entries related to this user:
    grep "$line" session.log > "$line.txt"

    # echo the last entry:
    echo $(sort -k3 "$line.txt" | awk 'END{print}')

    # shorter equivalent of both of the above commands:
    # awk -v user="$line" '$2 == user { print }' session.log | sort -k3,3 | tail -n 1
done
rm -f store.txt

    Portanto, uma abordagem alternativa baseada em seu loop de shell:

    cut -d ' ' -f2 <session.log | sort -u |
while read username; do
    awk -v user="$username" '$2 == user { print }' session.log | sort -k 3,3 | tail -n 1
done

    Novamente, o { print }pode ser deixado de fora do awkscript acima.

    Isso ainda classifica subconjuntos de log de sessão uma vez para cada usuário, o que é um desperdício.

    Pré-ordenando o log por datas decrescentes:

    sort -k3,3r -o sorted.log session.log

cut -d ' ' -f2 <session.log | sort -u |
while read username; do
    awk -v user="$username" '$2 == user { print; exit }' sorted.log
done

rm sorted.log

    Isso ainda exige que verifiquemos o log do topo uma vez por usuário. A melhoria natural é permitir awkacompanhar quais usuários foram vistos e quais usuários não foram vistos, o que dá minha resposta no topo.

    • 4

relate perguntas