Início / unix / Perguntas / 779284
Accepted
Make42
Asked: 2024-07-01 17:43:48 +0800 CST

Remova duplicatas no arquivo (sem classificar!) deixando a _última_ das ocorrências

  • 772

Seguindo https://www.baeldung.com/linux/history-remove-avoid-duplicates , adicionei

clean_history() {
    awk '!a[$0]++' $HOME/.bash_history > $HOME/.bash_history.tmp && mv $HOME/.bash_history.tmp $HOME/.bash_history
}
trap clean_history DEBUG # execute after every command

ao meu arquivo ~/.bashrc para garantir que, após cada comando ser executado, as entradas duplicadas sejam removidas. Isto é importante para mim, porque o kile (o editor LaTeX do KDE) deixa uma tonelada de comandos "clear" e "cd ..." no histórico, destruindo efetivamente o histórico em uma única sessão de escrita em LaTeX. E não encontrei nenhuma maneira de impedir que o kile faça isso.

De qualquer forma... a linha de código acima remove efetivamente todas as entradas subsequentes de um comando e deixa a primeira entrada no histórico. No entanto, quero que a última entrada permaneça no histórico e que todas as entradas anteriores sejam excluídas. Como posso fazer isso?

A propósito: Kile ignora

HISTCONTROL=ignoredups:erasedups

portanto, usar essa abordagem parece não ser uma opção.

Eu também ficaria feliz se pudéssemos evitar que Kile escrevesse todos juntos na história.

Não duplicados:

bash

4 respostas

  1. Você pode reverter o arquivo, processá-lo e revertê-lo novamente. A maioria dos sistemas possui tail -rGNU tac(ou seu clone busybox ou toybox) para isso:

    (
  umask 077 # make sure the new ~/.bash_history remains private
  tac ~/.bash_history |
    awk '!seen[$0]++' |
    tac > ~/.bash_history.tmp &&
    mv ~/.bash_history.tmp ~/.bash_history
)
    • 6
  2. Best Answer
    awk '{ delete line[lnum[$0]]; line[NR] = $0; lnum[$0] = NR }
     END { for (n = 1; n <= NR; n++) { if (n in line) print line[n] } }'

    Mantemos duas matrizes associativas. line[i]nos dá o conteúdo da linha number i. À medida que examinamos a entrada, lnum[str]obtemos o número da linha mais recente que contém str.

    Em cada etapa, primeiro excluímos a linha atualmente vista do line[]array procurando seu número de linha no lnumíndice reverso. Em seguida, inserimos a linha atual no linearray e atualizamos o número da linha atual como lnumsendo a ocorrência mais recente dessa linha. Assim, se a linha atual já tiver sido vista antes, ela será apagada linee substituída por uma nova entrada.

    Então, no final, apenas iteramos pelos números das linhas e imprimimos line[i], desde que não tenham sido excluídos.

    Embora a tacabordagem simplifique awkconsideravelmente o código, o comando não é tão portátil e adiciona uma passagem extra. Essa solução ainda constrói uma tabela associativa a partir das linhas que vê, embora apenas uma.

    Nota: gostaríamos, no ENDbloco, apenas do for (n in line) print line[n], mas o Awk não garante a ordem dos índices do array associativo. Eu acho que funcionará no GNU Awk, mas não é portátil.

    • 1

  3. Você pode evitar kilepoluir seu histórico invocando-o como unset HISTFILE;HISTSIZE=0 kile.

    Além disso, veja minha resposta do AskUbuntu: https://askubuntu.com/questions/80371/bash-history-handling-with-multiple-terminals/80882#80882

    • 1

  4. Em vez de responder à pergunta conforme escrita, oferecerei uma sugestão para corrigir o problema subjacente.

    Primeiro, se ainda não o fez, registe um bug no Kile; parece que deveria haver pelo menos uma opção para o Kile desligar o histórico do shell. (É verdade que, como talvez não seja possível contar com um shell específico, isso pode ser um pouco complicado, mas, por exemplo, executar um script de usuário específico ainda pode ser uma solução, mesmo que exija mais esforço do usuário.)

    Segundo... já que estamos falando sobre mexer .bashrc(que presumo que esteja sendo executado pelo Kile), uma solução melhor seria ensinar .bashrca detectar se o shell está sendo executado pelo Kile e desabilitar o histórico nesse caso:

    # in your .bashrc...
has_ancestor() {
  i=( $(ps --no-headers -o ppid,cmd $1) )
  [ "${i[0]}" == 1 ] && return 1
  [ "$2" == "${i[1]##*/}" ] && return 0
  has_ancestor ${i[0]} "$2"
}

if has_ancestor $$ kile; then
  set -o history # ...or whatever
fi

    Isso percorre a árvore de processos desde o PID ( ) do shell $$até o pid 1, verificando se o nome do comando ( ##*/remove um caminho inicial que pode ou não estar presente) corresponde a algum nome especificado (neste caso, kile). É muito provável que o Kile seja o processo pai da shell que está a correr. (Existem formas de se desassociar do processo de geração, mas é muito pouco provável que o Kile o faça. Pelo menos o Konsole não o faz.)

    Isso também pode ser um exagero; ps --no-headers -o cmd $(ps --no-headers -o ppid $$)pode muito bem ser suficiente. De qualquer forma, o objetivo é simples; detecte se o pai/ancestral do bash é kilee "faça algo" de acordo. Eu adivinhei que "alguma coisa" é set -o history.

    • 0

relate perguntas