Início / dba / Perguntas / 66
Accepted
Aleksandr Levchuk
Asked: 2011-01-04 15:31:44 +0800 CST

Sequências Biológicas do UniProt no PostgreSQL

  • 772

Qual é a melhor maneira de armazenar sequências biológicas do UniProt no PostreSQL?

Detalhes dos dados

  • Extraímos 12 milhões de sequências do UniProt - esse número provavelmente dobrará a cada 3-10 meses.
  • O comprimento de uma sequência pode variar de 10 a 50 bilhões de caracteres
  • Menos de 1% das sequências têm mais de 10 mil caracteres
    • Melhoraria o desempenho armazenar as sequências mais longas separadamente?
  • Uma sequência pode ser do alfabeto de Proteína ou DNA
    • O alfabeto de DNA tem 5 caracteres (A, T, C, G ou -).
    • O alfabeto de Proteína terá cerca de 30 caracteres.
    • Não nos importamos em armazenar as sequências dos dois alfabetos diferentes em colunas diferentes ou mesmo em tabelas diferentes. Isso ajudaria?

Detalhes de acesso a dados

Para responder ao comentário de Jeremiah Peschka:

  • Sequências de proteínas e DNA seriam acessadas em momentos diferentes
  • Não precisaria pesquisar dentro da sequência (isso é feito fora do banco de dados)
  • Acessaria linhas únicas por vez ou extrairia conjuntos de linhas por IDs. Não precisaríamos escanear as linhas. Todas as sequências são referenciadas por outras tabelas - várias hierarquias com significado biológico e cronológico existem no banco de dados.

Compatibilidade com versões anteriores

Seria bom poder continuar a aplicar a seguinte função hash (SEGUID - SEquence Globally Unique IDentifier) ​​às sequências.

CREATE OR REPLACE FUNCTION gfam.get_seguid(p_sequence character varying)
  RETURNS character varying AS
$BODY$
declare
  result varchar := null;
  x integer;
begin

  select encode(gfam.digest(p_sequence, 'sha1'), 'base64')
  into   result;

  x := length(result);
  if substring(result from x for 1) = '=' then

     result := substring( result from 1 for x-1 );

  end if;

  return result;

end;
$BODY$
  LANGUAGE 'plpgsql' VOLATILE
  COST 100;
postgresql

2 respostas

  1. Best Answer

    Explorando as funções do PostBio , parece que eles têm algumas formas de codificação. No entanto, como essas extensões são otimizadas para pesquisa, elas fazem várias referências ao simples uso do texttipo de dados.

    De acordo com a documentação :

    Cadeias longas são compactadas pelo sistema automaticamente, portanto, o requisito físico no disco pode ser menor. Valores muito longos também são armazenados em tabelas de segundo plano para que não interfiram no acesso rápido a valores de coluna mais curtos. Em qualquer caso, a cadeia de caracteres mais longa possível que pode ser armazenada é de cerca de 1 GB.

    Portanto, colocar a tabela em seu próprio espaço de tabela muito grande em hardware dedicado deve ser suficiente para seus objetivos de desempenho. Se 1 GB for muito pequeno para seus dados, o int_interval do ProtBio deve fornecer excelente desempenho:

    Um recurso de sequência corresponde a um trio (id, orient, ii) onde id é um identificador de sequência (possivelmente a chave primária para uma tabela de sequência), orient é um booleano que indica se o recurso está na mesma orientação ou na orientação contrária da sequência, e ii é o int_interval que representa a feição como uma subsequência.

    Codificar a sequência em sha1 parece ser uma maneira muito dolorosa de criar um GUID, considerando os comprimentos potenciais da sequência.

    Se as diferentes sequências não estiverem relacionadas, armazene-as em espaços de tabela diferentes em discos diferentes para desempenho máximo.

    • 7

  2. Acho que 50 bilhões de caracteres provavelmente ultrapassarão os limites do que você pode fazer com o PostgreSQL sem dividir seus registros de alguma forma. Eu suspeito que você terá que encontrar alguma maneira de separar as coisas de alguma forma. Não sei que tipo de codificação postbio permite, mas ....

    Cálculos rápidos aqui: 5 caracteres exigem 3 bits para codificar, mas 4 bits facilitarão a pesquisa, pois dois caracteres podem ser codificados por byte. Por outro lado, 3 podem ser suficientes se você estiver procurando por grupos de 10 ou mais letras, pois você pode fazer 10 caracteres por 4 bytes. Otimizado para pesquisas de strings curtas, 50 bilhões de caracteres ocupam aproximadamente 25 GB de armazenamento, muito além do que você pode fazer em uma única coluna. A compactação pode ajudar, mas é necessária uma enorme escala de compactação além da representação binária descompactada mínimapara baixar para 1GB. Otimizado para pesquisas mais longas, obtemos apenas 20 GB. então eu acho que mesmo se você tivesse tipos de informação genética, você teria que separar as coisas. Proteínas com essa complexidade serão ainda mais desafiadoras, pois o melhor que você pode esperar é a notação de 5 bits, o que significa que você tem 6 por 32, o que significa que seu melhor caso para armazenamento é 30 GB por coluna. Portanto, a menos que você consiga, a compactação pode ajudar novamente, mas é necessária uma grande taxa de compactação. Eu vi boas taxas de compactação, mas lembre-se de que você pode estar pressionando.

    Portanto, minha recomendação é estar ciente desse problema e fazer alguns testes com dados reais. Esteja preparado para decompor suas leituras em alguns casos.

    • 1

relate perguntas