Início / unix / Perguntas / 552713
Accepted
Anna1364
Asked: 2019-11-18 16:19:50 +0800 CST

como imprimir apenas as linhas quando os valores das colunas não são idênticos?

  • 772

Eu tenho um grande arquivo de entrada de genótipo de contagem de arquivo. Aqui estão as primeiras linhas:

LocusID f nAlleles x y
2L:8347 1 2 44.3166 -12.2373
2L:8347 1 2 39.2667 -6.8333
2L:31184 1 2 39.2667 -6.8333
2L:31184 1 2 39.2667 -6.8333
2L:42788 1 2 39.2667 -6.8333
2L:42788 1 2 39.2667 -6.8333
2L:42887 1 2 39.2667 -6.8333
2L:42887 1 2 39.2667 -6.8333

A primeira coluna é o ID do locus e para cada locus tenho duas linhas com IDs de locus idênticos. Eu quero manter apenas aqueles cuja coluna x e coluna y não são qualificadas para cada locus.

aqui está minha saída desejada do exemplo acima

out
2L:8347 1 2 44.3166 -12.2373
2L:8347 1 2 39.2667 -6.8333

Alguma ideia de como posso fazer?

text-processing

4 respostas

  1. Testado. Se os cabeçalhos das colunas NÃO estiverem realmente presentes no arquivo, exclua a linha BEGIN.

    #! /bin/bash

AWK='''
BEGIN { getline; }
{
    R1 = $0; getline R2;
    split (R1, V1); split (R2, V2);
    if (V1[4] != V2[4] || V1[5] != V2[5]) {
        print R1; print R2;
    }
}
'''

    awk "${AWK}" myFile
    • 0
  2. Best Answer
    $ cat tst.awk
NR == 1 {
    for (i=1; i<=NF; i++) {
        f[$i] = i
    }
    next
}
NR % 2 {
    split(prev,p)
    if ( ( p[f["x"]] != $(f["x"]) ) || ( p[f["y"]] != $(f["y"]) ) ) {
        print prev
        print
    }
}
{ prev = $0 }

$ awk -f tst.awk file
2L:8347 1 2 44.3166 -12.2373
2L:8347 1 2 39.2667 -6.8333
    • 0

  3. Deveria ser um comentário para Ed Morton, mas muito grande e possivelmente de interesse mais geral.

    Eu escrevi um trabalho simples de cinco minutos para um OP que não conseguiu começar, depois de ver dois comentários inúteis. Não estou muito impressionado com sua referência, que contém alternativas que induzem ao vômito, como:

    awk 'c&&!--c;/3/{c=5}/4/{print "Eureka!"}' file

    Eu apontei que técnicas melhores são possíveis, e postei e testei o código.

    É claro que getline não é necessário aqui, mas fornece uma certa simetria às operações. Se você confia no ciclo awk, acaba usando algo como FNR % 2 == 1 para lidar com as linhas estritamente alternadas. Isso é péssimo, portanto, prefiro ignorar os OPs "duas linhas" e agrupar linhas pelo LocusID, para generalidade.

    Eu dignifico scripts awk postando-os em variáveis ​​de shell porque eles lêem melhor. Eu detesto um grande código awk colocado na linha de comando e dobrado em lugares estranhos. Além disso, isso realmente corta o SysAdmins porque todo o awk aparece em um ps -ef e arrasta a saída (no SunOS costumava travar o ps porque tinha um comprimento de linha máximo fixo).

    Meu idioma usual para evitar isso no bash seria:

    awk -f <( echo "${AWK}" )

    que ps lista como awk -f /dev/fd/63, escondendo convenientemente meu código proprietário do curioso.

    Eu nunca divido o comando shell do awk: eu nunca uso um arquivo .awk. Uma de duas coisas ruins vai acontecer:

    (a) Você fornece o arquivo .awk e espera que o usuário digite o comando awk (possivelmente incluindo '-F|' ou alguma outra opção), e ele VAI errar.

    (b) Você fornece ao usuário um .sh e um .awk, e há um problema de atualização e ele acaba com uma inconsistência entre os arquivos.

    Pelas mesmas razões, se eu precisar fornecer uma página man, eu a incorporo no próprio script, como funções chamadas Uso e Ajuda, contendo documentos Here.

    Estou bem ciente de que ''' ... ''' não é necessário. No entanto, eu me cansei de postar soluções com aspas simples e as pessoas pensarem "Falta citação lá, vou corrigi-lo", estragando meu post testado e depois reclamando que não funcionou. Ofuscá-lo com algumas strings vazias impede as pessoas de mexer com ele e aumenta a visibilidade.

    Após 40 anos no Unix, conheço as variáveis ​​reservadas em shell e awk. Eu tenho boas regras para nomenclatura, mas para um problema trivial, prefiro usar termos que o OP possa intuir. Duas linhas, dois vetores. Eu uso caps para muitas variáveis ​​de shell para visibilidade para distingui-las das palavras-chave. Qualquer um pode escrever palavras-chave: quase todos os bugs são porque os codificadores não veem os dados, eles não acentuam o papel das variáveis.

    A Getline não falha de maneiras inesperadas para mim, porque sei o que esperar. Você pode não gostar das expressões idiomáticas que uso, mas isso não as torna erradas. São soluções para problemas que tenho visto ao longo de muitos anos.

    • 0

  4. Meu conselho: transforme os espaços em vírgulas para que você tenha um CSV e depois carregue-o em um banco de dados.

    Usando psqle Postgres e o arquivo que você deu como temp.csveste se parece com:

    postgres=> create temp table d (locusid text, f int, n_alleles int, x float, y float);
CREATE TABLE
postgres=> \copy d from program 'tr " " , < temp.csv' with (format csv, header true)
COPY 8
postgres=> table d;
 locusid  | f | n_alleles |    x    |    y     
----------+---+-----------+---------+----------
 2L:8347  | 1 |         2 | 44.3166 | -12.2373
 2L:8347  | 1 |         2 | 39.2667 |  -6.8333
 2L:31184 | 1 |         2 | 39.2667 |  -6.8333
 2L:31184 | 1 |         2 | 39.2667 |  -6.8333
 2L:42788 | 1 |         2 | 39.2667 |  -6.8333
 2L:42788 | 1 |         2 | 39.2667 |  -6.8333
 2L:42887 | 1 |         2 | 39.2667 |  -6.8333
 2L:42887 | 1 |         2 | 39.2667 |  -6.8333
(8 rows)

postgres=> select d.* from d join d as d2 on d.locusid = d2.locusid and (d.x != d2.x or d.y != d2.y);
 locusid | f | n_alleles |    x    |    y     
---------+---+-----------+---------+----------
 2L:8347 | 1 |         2 | 44.3166 | -12.2373
 2L:8347 | 1 |         2 | 39.2667 |  -6.8333
(2 rows)
    • 0

relate perguntas