Tony's questions

Eu tenho um pacote para combinar dados de vários bancos de dados. Estou tentando reunir dois conjuntos de dados para que possam ser gravados em uma única tabela.

Há um comum SSIS_ID (DT_I4)usado para corresponder linhas e as outras colunas que desejo trazer para o mesmo conjunto de dados também são DT_I4.

Aqui está a seção do fluxo onde está o problema; como você pode ver, os dados de ambos os caminhos são classificados SSIS_IDantes de entrar no Merge:

E aqui está a configuração do componente Merge. A intenção é colocar o CRO_CompanyIDe Sponsor_CompanyIDpara o mesmo SSIS_IDem uma única linha:

No entanto, a saída da mesclagem está agindo como um UNION; há 1.532 linhas entrando pela esquerda e 4.303 pela direita, resultando em 5.835 linhas na saída.

Um visualizador de dados na saída mostra o problema:

Posso contornar esse problema processando os dados de uma maneira diferente, mas estou realmente me incomodando por não conseguir fazer isso funcionar.

Alguma sugestão sobre o que fiz de errado ou não fiz para poder combinar os dados dessa maneira?

Estou usando o SSIS para SQL Server 2008, mas não havia uma tag para essa versão.

Estamos migrando nosso banco de dados para um novo esquema, mas queremos validar se os dados foram movidos corretamente.

As ferramentas tradicionais de comparação de dados podem comparar dois bancos de dados em busca de diferenças se os esquemas forem os mesmos. No nosso caso, houve alterações nos designs das tabelas, mas todos os dados do esquema antigo estão no novo, apenas foram movidos um pouco e preciso ter certeza de que estão corretos. Temos dezenas de milhões de linhas, portanto a inspeção manual não é uma opção.

Existem ferramentas que possam auxiliar nesse tipo de comparação?

Caso contrário, existem bibliotecas/frameworks que possam ajudar a iniciar o desenvolvimento de uma solução personalizada?

Fico feliz em usar uma solução específica de banco de dados, se necessário, neste caso para o SQL Server 2008.

Minha solução: estou comparando os dois conjuntos de dados criando um VIEWde cada tabela no banco de dados antigo com os mesmos campos da nova tabela do banco de dados.

Em seguida, comparo os dados usando a técnica descrita aqui: A maneira mais curta, rápida e fácil de comparar duas tabelas no SQL Server: UNION !

Tive sorte nessa migração, pois a estrutura geral da tabela é semelhante ao banco de dados antigo, com campos movidos de uma tabela para outra, descartados ou adicionados. No caso dos descartados e adicionados não há o que comparar, para os campos que foram movidos ou agregados eu faço cálculos na view para fornecer as informações corretas para comparação.

A UNIONcomparação me mostra apenas as linhas com diferenças, portanto, assim que os dados estiverem corretos, obtenho um conjunto de resultados vazio.

Eu tenho um fluxo de dados para migrar dados de um banco de dados antigo para um novo. O design antigo tinha todos os dados e informações históricas (alterações) armazenados em uma única tabela com uma "versão" (inteiro incrementado) na linha.

O novo design tem duas tabelas, uma para o estado "atual" dos dados e uma tabela de auditoria (ou histórico) que registra as alterações usando um gatilho. Portanto, existe apenas uma linha para os dados "atuais" e há muitas linhas de histórico.

Em meu pacote SSIS, estou usando os seguintes componentes para copiar os dados atuais para uma tabela, mas enviar todos os dados para a tabela de auditoria.

O Multicast é usado para dividir o fluxo de dados e a Divisão Condicional identifica a linha "atual" e a envia para a tabela Order (a tabela não é realmente chamada Order , antes que alguém comente sobre o uso de uma palavra reservada para um nome de tabela).

Criei este fluxo porque não consegui ver uma maneira de usar o Conditional Split para enviar todos os dados para o destino Audit e apenas a linha atual para o outro.

Presumo que criar todos os dados duplicados e, em seguida, descartá-los em um destino de lixo não seja muito eficiente e, como tenho cerca de 52 milhões de linhas para migrar, estou preocupado que a transformação demore dias.

Existe uma maneira melhor (mais eficiente) de obter a divisão de dados?

Nota sobre os dados: apliquei um row_number()aos dados que me permitem identificar a linha "atual" como número 1, todas as linhas, incluindo "atual", precisam ir para o destino da tabela de auditoria.

EDIT: Encontrei uma alternativa para a divisão multicast e condicional sugerida por esta postagem no blog do SSIS Junkie: várias saídas de uma transformação de script síncrona

Ele usa um componente de script para enviar dados para uma ou mais saídas. Estou tentando esse método para ver se é mais rápido, mas depois de ver a resposta e a sugestão de Kenneth sobre a remoção do destino da lixeira, não tenho certeza se será.