Início / coding / Perguntas / 78512531
Accepted
Max
Asked: 2024-05-21 22:20:40 +0800 CST

Contando o número de linhas e caracteres em um arquivo separados por um caractere específico

  • 772

Eu tenho um arquivo de texto com o seguinte formato:

>1
AGGGTCACGTAATGCTGATCCAGTCTTGTTTTTATTTTCATTCATGTTCCCGCTCTTGCT
TTGATTCCGACTTCTAACGTTTAACCTGTGATCAGACGTTTCACTGCTCCATATTTTACG
TGTGCCTGCCGGTCATCTTGGGTAGAGTTAGCATATCC
>2
GTTTGGAAAACCTTGAGAACTTGGCTGAGCAACTAGGAGATAGGCGTATAAAGACTATCG
GCTTTGTTCTCGAAAAAATTCAATCAATTTTCGAGCATTCTTATCGCAGAATTGTTGAAT
>3
ACTCATG

Onde o número real de linhas após cada ">" pode ter milhares ou até milhões. Neste exemplo, digamos (eu não as contei) que existem 180 letras (e 3 linhas) após >1, 2 linhas e 100 caracteres após >2, e 1 linha de 7 caracteres após >3.

Eu gostaria que a saída fosse algo como:

>1
3 180
>2
2 100
>3
1 7

(o formato não é crítico desde que haja duas informações - o número de linhas e o número de caracteres).

Tenho usado um script python para dividir esses arquivos pelo ">" e depois contar o número de linhas e caracteres entre cada >. No entanto, os arquivos são muito grandes e o script python demora muito para ser executado. Existe uma maneira simples de fazer isso usando o awk ou algo mais na linha de comando do Linux?

awk

5 respostas

  1. awk 'function doit(){ print y, length(x); y=0; x="" }
     /^>/{ if(x!=""){ doit() }; s=substr($0,2)}
     !/^>/{ x=x $0; y++ }END{ doit() }'  file1.txt
    • Em seguida, a função doit()imprime os resultados. (e redefine xe y)
    • /^>quando uma linha começa com >update s (NOTA: este valor nunca é usado!?)
    • !/^>/ quando uma linha não começa com '>' adicione essa linha à variável xe incremente y.

    teste:

    $ cat file
>1
AGGGTCACGTAATGCTGATCCAGTCTTGTTTTTATTTTCATTCATGTTCCCGCTCTTGCT
TTGATTCCGACTTCTAACGTTTAACCTGTGATCAGACGTTTCACTGCTCCATATTTTACG
TGTGCCTGCCGGTCATCTTGGGTAGAGTTAGCATATCC
>2
GTTTGGAAAACCTTGAGAACTTGGCTGAGCAACTAGGAGATAGGCGTATAAAGACTATCG
GCTTTGTTCTCGAAAAAATTCAATCAATTTTCGAGCATTCTTATCGCAGAATTGTTGAAT

$ awk 'function doit(){ print y, length(x); y=0; x="" }/^>/{ if(x!=""){ doit() }; s=substr($0,2)}!/^>/{ x=x $0; y++ }END{ doit() }'  file
3 158
3 120
    • 2

  2. Uma awkideia:

    awk '
function print_sums() {
    if (linecnt>0)                     # if linecnt > 0 then ...
       print linecnt,charcnt           # print current counters
    linecnt = charcnt = 0              # reset counters
}
/^>/ { print_sums()                    # print counters for previous block
       print                           # print current line
       next                            # skip to next line of input
     }    
     { linecnt++                       # increment line counter
       charcnt += length($0)           # increment character counter
     }
END  { print_sums() }                  # print counters for last block
' input.dat

    Isso gera:

    >1
3 158
>2
2 120
>3
1 7
    • 1
  3. Best Answer

    Aqui está outra awkideia que lida com sequências vazias, linhas vazias e comentários em arquivos FASTA:

    awk '
    /^;/ { next }
    /^>/ {
        if (substr(seq,1,1) == "\n")
             print gsub(/\n/,"",seq)-1, length(seq);
        seq = "\n";
        print;
        next
    }
    { seq = seq $0 "\n" }
    END {
        if (substr(seq,1,1) == "\n")
            print gsub(/\n/,"",seq)-1, length(seq);
    }
' file.fasta

    >1
3 158
>2
2 120
>3
1 7
    • 1

  4. Esta não é de longe uma resposta completa, mas usando grep -nvocê pode mostrar o número da linha onde o >caractere aparece.

    A partir daí, você pode começar a usar awkpara realizar cálculos sobre esses números:

    Prompt>grep -n ">" file1.txt
1:>1
3:>2
5:>3

Prompt>grep -n ">" file1.txt | awk -F ":" '{print $1}'
1
3
5

    ...

    • 0

  5. Usando qualquer awk:

    $ cat tst.awk
/^>/ { if (NR>1) prt(); key=$0; rec=""; next }
{ rec = rec $0 ORS }
END { prt() }

function prt() {
    print key ORS gsub(ORS,"&",rec), length(rec)
}


    $ awk -f tst.awk file
>1
3 161
>2
2 122
>3
1 8

    O texto acima pressupõe que você deseja que novas linhas sejam incluídas na contagem; caso contrário, é um ajuste trivial, esperançosamente óbvio, não contá-las.

    • 0

relate perguntas