Estou planejando armazenar varreduras de um espectrômetro de massa em um banco de dados MySQL e gostaria de saber se armazenar e analisar essa quantidade de dados é remotamente viável. Eu sei que o desempenho varia muito dependendo do ambiente, mas estou procurando a ordem aproximada de magnitude: as consultas levarão 5 dias ou 5 milissegundos?
Formato de entrada
Cada arquivo de entrada contém uma única execução do espectrômetro; cada execução é composta por um conjunto de varreduras e cada varredura possui uma matriz ordenada de pontos de dados. Há um pouco de metadados, mas a maior parte do arquivo é composta por arrays ints ou floats de 32 ou 64 bits.
Sistema host
|-----+------------------------------------------| | SO | Windows 2008 64 bits | | Versão do MySQL | 5.5.24 (x86_64) | | CPU | 2x Xeon E5420 (8 núcleos no total) | | RAM | 8GB | | sistema de arquivos SSD | 500 GiB | | RAID HDD | 12 TiB | |-----+------------------------------------------|
Existem alguns outros serviços em execução no servidor usando um tempo de processador insignificante.
Estatísticas do arquivo
|------------------+--------------| | número de arquivos | ~16.000 | | tamanho total | 1,3 TiB | | tamanho mínimo | 0 bytes | | tamanho máximo | 12 GiB | | média | 800 MiB | | mediana | 500 MiB | | pontos de dados totais | ~200 bilhões | |------------------+--------------|
O número total de pontos de dados é uma estimativa muito aproximada.
Esquema proposto
Estou planejando fazer as coisas "certas" (ou seja, normalizar os dados como um louco) e, portanto, teria uma runstabela, uma spectratabela com uma chave estrangeira para runse uma datapointstabela com uma chave estrangeira para spectra.
A questão de 200 bilhões de pontos de dados
Estarei analisando vários espectros e possivelmente até várias execuções, resultando em consultas que podem tocar milhões de linhas. Supondo que eu indexe tudo corretamente (o que é um tópico para outra pergunta) e não estou tentando embaralhar centenas de MiB pela rede, é remotamente plausível para o MySQL lidar com isso?
informação adicional
Os dados de varredura virão de arquivos no
formato mzML baseado em XML . A carne deste formato está nos
<binaryDataArrayList>elementos onde os dados são armazenados. Cada varredura produz >= 2 <binaryDataArray>elementos que, juntos, formam uma matriz bidimensional (ou mais) do formulário [[123.456, 234.567, ...], ...].
Esses dados são gravados uma vez, portanto, o desempenho da atualização e a segurança da transação não são preocupações.
Meu plano ingênuo para um esquema de banco de dados é:
runstabela
| nome da coluna | tipo | |-------------+-------------| | identificação | CHAVE PRIMÁRIA | | start_time | TIMESTAMP | | nome | VARCHAR | |-------------+-------------|
spectratabela
| nome da coluna | tipo | |----------------+-------------| | identificação | CHAVE PRIMÁRIA | | nome | VARCHAR | | índice | INT | | tipo_espectro | INT | | representação | INT | | run_id | CHAVE ESTRANGEIRA | |----------------+-------------|
datapointstabela
| nome da coluna | tipo | |-------------+-------------| | identificação | CHAVE PRIMÁRIA | | espectro_id | CHAVE ESTRANGEIRA | | mz | DUPLO | | num_counts | DUPLO | | índice | INT | |-------------+-------------|
Isso é razoável?
Então, como você pode inferir, eu sou o programador, não o biólogo no laboratório, então eu não conheço a ciência tão bem quanto os cientistas reais.
Aqui está um gráfico de um único espectro (varredura) do tipo de dados com os quais estarei lidando:
O objetivo do software é descobrir onde e quão significativos são os picos. Usamos um pacote de software proprietário para descobrir isso agora, mas queremos escrever nosso próprio programa de análise (em R) para sabermos o que diabos está acontecendo sob os lençóis. Como você pode ver, a grande maioria dos dados não é interessante, mas não queremos descartar dados potencialmente úteis que nosso algoritmo perdeu. Assim que tivermos uma lista de picos prováveis com os quais estamos satisfeitos, o restante do pipeline usará essa lista de picos em vez da lista bruta de pontos de dados. Suponho que seria suficiente armazenar os pontos de dados brutos como um grande blob, para que possam ser reanalisados, se necessário, mas mantenha apenas os picos como entradas distintas do banco de dados. Nesse caso, haveria apenas algumas dúzias de picos por espectro, então as coisas malucas de escala não deveriam