Eu sou bastante verde quando se trata deste campo. Sou analista de dados em um pequeno hospital há 8 meses, após um diploma de 2 anos em um novo campo de carreira para mim.
Situação
Temos um "banco de dados" Cobol (uso levemente o termo banco de dados...). É um banco de dados hierárquico proprietário. Temos uma solução de software secundária que fornece camada ODBC SQL sobre ela para acesso externo por meio de uma interface padrão. Ele tem o que eu acho que são comandos compatíveis com SQL 99.
Banco de dados COBOL para SQL deixa muito a desejar. Os índices são imutáveis. Portanto, se eu quiser fazer qualquer consulta que não seja digitada em um ou dois campos indexados (Índice = Números de pacientes. Portanto, se eu quiser consultar as datas de admissão/alta... esqueça)... é muito lento . As junções transformam uma consulta de 5 minutos em uma consulta de 45 minutos. Muitas consultas retardam o REST do sistema, causando coisas ruins.
Embora o sistema tenha um sistema de consulta interno, não é de forma alguma algo que eu consideraria completo. Tem seus pontos fortes e fracos, mas o principal problema é a cooperação com o mundo exterior que também preciso enviar relatórios.
Pergunta
O que estou tentando construir... é um TSQL Data Warehouse. Desejo criar um processo que extraia os dados para um ambiente SQL que eu possa controlar (adicione índices, use coisas modernas como instruções de caso, não leva 15 minutos para consultas "simples").
Gostaria de saber quais são alguns bons recursos, tutoriais, ferramentas que os especialistas sugeririam. Minha situação ideal seria uma carga "histórica" de todos os dados em um banco de dados T-SQL, seguida por cargas semanais de novos dados. Não seria ideal para relatórios em "tempo real", mas a maior parte das minhas necessidades de relatórios seria atendida com dados "ligeiramente" antigos.
Eu tenho mexido com ##Temp Tables, Merge into, update, etc, tentando ver quais são os horários para carregamentos e atualizações e quais não ... mas antes de me aprofundar muito, gostaria apenas de obter algumas informações gerais adendo.
Eu recomendaria Construindo um Data Warehouse com Exemplos no SQL Server por Vincent Rainardi, já que isso abrange detalhes do SQL Server. O Data Warehouse Toolkit também é um guia excelente e prático, mas não é específico da plataforma.
Espero que a maneira de fazer isso seja com SSIS , conectando-se ao seu ODBC existente. É feito sob medida para extrair dados de diversas fontes para o SQL Server, para consumo subsequente, por exemplo, SSRS . Meu conselho seria fazer um pouco de leitura de fundo sobre essas ferramentas e ver se elas podem ser aplicadas à sua situação, caso contrário, você terá pelo menos uma ideia mais clara de quais recursos você precisa que não tem e pode ir compras com isso.
Knight's Microsoft Business Intelligence 24-Hour Trainer é uma combinação de livros em DVD. Este é outro bom lugar para começar no Microsoft BI.