Início / dba / Perguntas / 172275
Accepted
Serdia
Asked: 2017-04-29 08:19:36 +0800 CST

É possível construir Data Warehouse sozinho?

  • 772

Eu trabalho para a companhia de seguros pouco mais de um ano, minha experiência em SQL em torno de 2-3 anos, incluindo SSIS, SSRS. Temos aproximadamente 1 TB de dados.

É possível construir um data warehouse sozinho? Devo fazer isso com a minha experiência?

Existem muitos materiais e grupos de SQL dos quais posso obter ajuda. Mas ainda assim, é muito complicado?

Obrigado

sql-server ssis

3 respostas

  1. Best Answer

    É como perguntar: "Posso construir uma casa sozinho?"

    Depende muito de qual é a sua definição de "casa". Converse com seus usuários internos para criar um conjunto de requisitos primeiro - isso precisará acontecer independentemente de quem o criar.

    Quando tiver concluído os requisitos de construção, você pode começar a esboçar o que precisará construir para atender a esses requisitos.

    Então, você pode começar a construir estimativas de tempo para o que precisa ser construído.

    À medida que você trabalha nesse processo, você terá uma melhor compreensão de como é a casa e se você pode construí-la sozinho com sua caixa de ferramentas e habilidades existentes.

    • 9

  2. Na mesma linha da declaração do @Brent de "Depende muito de qual é a sua definição de 'casa'", você precisa descobrir o que "Data Warehouse" significa para quem o solicitou. O termo "Data Warehouse" às ​​vezes é usado quando não deveria. Eles querem um sistema que agregue dados de volta ao início do tempo e seja carregado todas as noites e esteja faltando dados transacionais do dia atual? Eles querem relatórios em tempo real, incluindo dados transacionais atuais com um atraso de não mais de 1 a 5 minutos?

    Posso dizer-lhe, por experiência (não tão agradável), que:

    1. O armazenamento de dados verdadeiro é uma maneira diferente de ver o mundo e como os dados são armazenados e consultados. Não cometa o erro de pensar que você estará simplesmente trabalhando com tabelas maiores. Vários anos de experiência trabalhando no lado transacional, mesmo trabalhando com SSIS e SSRS, não permitem criar magicamente um data warehouse real. (por outro lado, ser ótimo em armazenamento de dados não se traduz magicamente em ser bom no lado transacional!)
    2. Você deve começar a ler os conceitos de data warehouse para ter uma ideia do que está vendo, pois isso ajudará a obter uma resposta adequada para "o que você quer dizer com data warehouse". Se você não sabe o que esse termo significa, perguntar a quem está pedindo isso não será muito produtivo.
    3. Converse com alguém que trabalha com data warehouses há anos para obter dicas melhores do que estou dando aqui sobre por onde começar seu processo educacional. Especialmente tente entender o que faz de um data warehouse um data warehouse.
    4. Seja claro com aqueles que estão fazendo essa solicitação a você que existem compensações incorporadas ao design de um data warehouse adequado e, portanto, alterar os requisitos posteriormente (como usar um sistema de relatório histórico e introduzir dados quase em tempo real por ano posteriormente) resultará em levar muito tempo para modificar o sistema para levar em conta os novos requisitos ou possivelmente desestabilizar o sistema, forçando-o a fazer recursos conflitantes, de modo que a base de código se torne cada vez mais difícil de manter ao longo do tempo até que todo o projeto torna-se um passivo devido a solicitações simples que levam semanas para serem realizadas e/ou quebram a funcionalidade existente a cada vez.
    • 7

  3. Outro caminho seria usar um data warehouse como um produto de serviço. Muitos fornecedores estão oferecendo isso agora, incluindo Oracle, Snowflake, Microsoft e Amazon. Esses produtos geralmente têm recursos que o guiarão na construção de seu data warehouse. O Redshift é um grande player nessa área e agora existe o Amazon Athena , uma opção sem servidor, que parece ser para necessidades de dados menores. Esse pode ser outro caminho a seguir.

    Uma das primeiras perguntas seria, qual é a diferença? Por que uma empresa escolheria um em detrimento de outro? Bem, para começar; todos eles compartilham esses recursos:

    • Baseado em nuvem

    • Algum nível de interface administrativa/gerenciamento

    • A capacidade de aumentar e diminuir conforme necessário

    • Nenhum hardware no local

    • Software limitado ou nenhum para compra (IMO, isso depende muito das ferramentas que você deseja ou precisa para analisar seus dados.)

    Outras considerações serão exclusivas para cada negócio:

    • Tamanho do conjunto de dados e crescimento estimado.

    • Complexidade dos dados.

    • Recursos e capacidades do administrador.

    • Recursos técnicos disponíveis/equipe de TI.

    • População de usuários e demografia. Sim, essas são soluções baseadas em nuvem, mas a obtenção de dados requer conexões de Internet estáveis ​​e de tamanho adequado.

    • Objetivos de longo prazo de integração de dados. Qual é a finalidade do seu data warehouse? Quem são seus principais usuários? Quais são suas necessidades de dados futuras previstas? Por exemplo, se as aquisições são uma forte possibilidade, a incorporação de conjuntos de dados diferentes deve ser considerada.

    Em seguida, olhe para os fornecedores/produtos escolhidos e veja como eles combinam. Certifique-se de ter seus disjuntores identificados. Existem compensações que favoreceriam uma solução em detrimento de outra? Isso deve levar você a uma lista de finalistas para revisar de perto. Faça sua devida diligência e você poderá chegar a uma solução que funcione tecnicamente, financeiramente e do ponto de vista comercial.

    Existem muitas opções hoje, então faça sua pesquisa. http://searchdatamanagement.techtarget.com/definition/data-warehouse-as-a-service-DWaaS

    • 2

relate perguntas