Início / unix / Perguntas / 526995
Accepted
Caleb
Asked: 2019-06-27 02:41:30 +0800 CST

Reordenar linhas e mesclar outras com base em critérios específicos

  • 772

Um ponto fraco no meu cli foo é awk. Eu provavelmente poderia resolver o seguinte com scripts elaborados, mas tenho certeza de que awké a melhor ferramenta para o trabalho e, pela minha vida, não consigo descobrir a abordagem correta.

Digamos que eu tenha um arquivo de dados como este (Ledger):

2019/05/31 (MMEX948) Gürmar
    Assets:Cash:Marina                       ₺-28,14
    Expenses:Food:Groceries:Meat              ₺28,14
    Assets:Cash:Marina                       ₺-28,14
    Expenses:Food:Groceries:Meat              ₺28,14
    Assets:Cash:Marina                        ₺-3,45
    Expenses:Food:Groceries:Basic              ₺3,45
    Assets:Cash:Marina                       ₺-15,00
    Expenses:Food:Groceries:Produce           ₺15,00

2019/06/01 (MMEX932) A101
    Assets:Cash:Caleb                     $-3.00
    Assets:Cash:Marina                    $-2.50
    Expenses:Food:Groceries:Basic          $5.50

2019/06/01 (MMEX931) Şemikler Pazar Yeri
    Assets:Cash:Marina                       ₺-24,00
    Expenses:Food:Groceries:Basic             ₺24,00
    Assets:Cash:Marina                       ₺-31,00
    Expenses:Food:Groceries:Meat              ₺31,00
    Assets:Cash:Marina                       ₺-65,00
    Expenses:Food:Groceries:Produce           ₺65,00

Cada parágrafo separado por linha em branco é uma transação , cada linha recuada é um lançamento , cada lançamento tem uma conta e um valor (separado por pelo menos 2 espaços).

Eu quero que duas coisas aconteçam com esses dados. Eu não me importo se isso acontecer no mesmo comando ou não, pode ser mais fácil fazer em uma ou duas passagens, dependendo da ferramenta ...

  1. Todos os lançamentos com valores negativos devem ser organizados após os lançamentos com valores positivos.

  2. Quaisquer lançamentos com valores negativos e contas duplicadas devem ser mesclados. Idealmente, os valores seriam somados, mas isso é muito complicado por causa dos formatos de moeda e não é necessário porque posso regenerar as linhas de valor. A remoção total do valor das postagens mescladas é suficiente, desde que não mais de uma conta única seja mesclada por passagem.

O resultado deve ficar assim:

2019/05/31 (MMEX948) Gürmar
    Expenses:Food:Groceries:Meat              ₺28,14
    Expenses:Food:Groceries:Meat              ₺28,14
    Expenses:Food:Groceries:Basic              ₺3,45
    Expenses:Food:Groceries:Produce           ₺15,00
    Assets:Cash:Marina

2019/06/01 (MMEX932) A101
    Expenses:Food:Groceries:Basic          $5.50
    Assets:Cash:Marina                    $-2.50
    Assets:Cash:Caleb

2019/06/01 (MMEX931) Şemikler Pazar Yeri
    Expenses:Food:Groceries:Basic             ₺24,00
    Expenses:Food:Groceries:Meat              ₺31,00
    Expenses:Food:Groceries:Produce           ₺65,00
    Assets:Cash:Marina

Observações que tornam isso um pouco mais complicado do que apenas uma verificação de duplicatas:

  • Na primeira transação, há duas contas diferentes que são duplicadas. Apenas um deles deve ser mesclado e limpo (seria possível mesclar os dois, mas apenas um por passagem ou não poderei corrigir os valores).
  • Na transação intermediária não há nada para mesclar, mas seria um erro limpar cegamente os valores de todas as transações negativas. Como não há mesclagem, ela não precisa ser limpa, mas pode ser se isso facilitar o processamento.

Como eu passaria por esse problema em awk? Ou se Awk não é a melhor solução, qual é? Na maioria das linguagens de script (perl, python, zsh), eu analisaria tudo, jogaria tudo em uma matriz multidimensional, classificaria com base em correspondências regex do valor e secundariamente em alfa para as contas, então iteraria sobre ele para produzi-lo, sempre elimine a última quantia e mescle apenas a última duplicata (se houver).

Observe que eu trabalhei em uma maneira de analisar e mesclar transações duplicadas no Awk outro dia:

awk 'NF { if (/^20/) { if (last != $$0) print "\n" $$0; last = $$0 } else { print $$0 } }' |

Mas uma lógica awk mais complicada está me desafiando agora.

awk text-processing

2 respostas

  1. Best Answer

    Este script GNU awk funciona para mim:

    #! /usr/local/bin/awk -f
BEGIN { FS = "[[:space:]][[:space:]]+" }
function dump() {
    for (acct in post) { # dump unmerged postings of current transaction
        if (post[acct])
            print post[acct];
    }
    if (merged) {   # dump merged posting, if any
        printf "    %s\n", merged
    }
    merged = "";    # clear variables for next round
    delete post;
    txn = "";
}
!NF && txn {        # blank line, end of transaction
    dump();
    print;
    next
} 
END { # end-of-file, print merged postings of last txn
    dump();
}
!txn {  # new transaction
    txn = $0;
    print;
    next
}
{
    acct = $2;
    amt = $3
}
amt ~ /-/ { # negative amounts, keep for later
    if (acct in post) { # duplicate entry
        if (!merged || merged == acct) { # only merge and clear one duplicate account
            post[acct] = "";
            merged = acct;
        }
        else  # tack on to existing record without merging
            post[acct] = post[acct] "\n" $0
    }
    else
        post[acct] = $0
    next
}
1

    Em ação:

    ~ ./foo.awk foo
2019/05/31 (MMEX948) Gürmar
    Expenses:Food:Groceries:Meat              ₺28,14
    Expenses:Food:Groceries:Meat              ₺28,14
    Expenses:Food:Groceries:Basic              ₺3,45
    Expenses:Food:Groceries:Produce           ₺15,00
    Assets:Cash:Marina

2019/06/01 (MMEX932) A101
    Expenses:Food:Groceries:Basic          $5.50
    Assets:Cash:Marina                    $-2.50
    Assets:Cash:Caleb                     $-3.00

2019/06/01 (MMEX931) Şemikler Pazar Yeri
    Expenses:Food:Groceries:Basic             ₺24,00
    Expenses:Food:Groceries:Meat              ₺31,00
    Expenses:Food:Groceries:Produce           ₺65,00
    Assets:Cash:Marina
    • 2

  2. Com GNU awk para gensub(), arrays de arrays e sorted_in:

    $ cat tst.awk
BEGIN { RS=""; FS="\n"; localeDecPt="."; PROCINFO["sorted_in"]="@val_num_desc" }
{
    delete sum
    print $1
    denom = gensub(/.*([^0-9.,-]).+$/,"\\1",1,$2)
    for (i=2; i<=NF; i++) {
        account = gensub(/[[:space:]]+[^[:space:]]+$/,"",1,$i)
        amount  = gensub(/.*[^0-9.,-](.+)$/,"\\1",1,$i)
        inputDecPt = gensub(/[0-9-]+/,"","g",amount)
        sum[account] += gensub("["inputDecPt"]",localeDecPt,"g",amount)
    }

    for (account in sum) {
        amount = denom gensub("["localeDecPt"]",inputDecPt,"g",sprintf("%0.2f",sum[account]))
        printf "%-*s%*s\n", 40, account, 10, amount
    }

    print ""
}

    .

    $ awk -f tst.awk file
2019/05/31 (MMEX948) Gürmar
    Expenses:Food:Groceries:Meat            ₺56,28
    Expenses:Food:Groceries:Produce         ₺15,00
    Expenses:Food:Groceries:Basic            ₺3,45
    Assets:Cash:Marina                     ₺-74,73

2019/06/01 (MMEX932) A101
    Expenses:Food:Groceries:Basic            $5.50
    Assets:Cash:Marina                      $-2.50
    Assets:Cash:Caleb                       $-3.00

2019/06/01 (MMEX931) Şemikler Pazar Yeri
    Expenses:Food:Groceries:Produce         ₺65,00
    Expenses:Food:Groceries:Meat            ₺31,00
    Expenses:Food:Groceries:Basic           ₺24,00
    Assets:Cash:Marina                    ₺-120,00

    Se .não for o ponto decimal em sua localidade, basta alterar localeDecPt="."para o que for. Se os valores de entrada contiverem, digamos, vírgulas como separadores de milhares, o código que postei não funcionará e você deverá fornecer uma entrada que inclua isso para testar. Codifiquei as larguras do campo de saída para 40 e 10 - você pode calcular facilmente a largura máxima de cada campo e usá-la ou usar guias como OFS e canalizar a saída para column, mas não parece nada disso ' d ser necessário.

    Para ser honesto, não entendo seus requisitos sobre o que mesclar e como identificar duplicatas (por exemplo, por que não mesclar todas as duplicatas na primeira transação e por que limpar o valor de uma conta não duplicada na segunda transação?) apenas fundiu os valores para todas as duplicatas e deixou os valores para não duplicados. Se isso não funcionar para você, por favor, esclareça os requisitos em sua pergunta.

    • 2

relate perguntas